1561 lines
133 KiB
Plaintext
1561 lines
133 KiB
Plaintext
|
{
|
|||
|
|
"nbformat": 4,
|
|||
|
|
"nbformat_minor": 0,
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"name": "Demo_datasets.ipynb",
|
|||
|
|
"provenance": [],
|
|||
|
|
"collapsed_sections": [],
|
|||
|
|
"machine_shape": "hm"
|
|||
|
|
},
|
|||
|
|
"kernelspec": {
|
|||
|
|
"name": "python3",
|
|||
|
|
"display_name": "Python 3"
|
|||
|
|
},
|
|||
|
|
"language_info": {
|
|||
|
|
"name": "python"
|
|||
|
|
},
|
|||
|
|
"widgets": {
|
|||
|
|
"application/vnd.jupyter.widget-state+json": {
|
|||
|
|
"1a2e6a78cc3243e1a235f139b4c39475": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HBoxModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HBoxView",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"_model_name": "HBoxModel",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"box_style": "",
|
|||
|
|
"layout": "IPY_MODEL_53e1e3b762984268a3b1458235c6ce4a",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"children": [
|
|||
|
|
"IPY_MODEL_1e0bd7ecfe804ed289138a73d11383c5",
|
|||
|
|
"IPY_MODEL_4a7abe559ca645769e0e5f1e92570759"
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"53e1e3b762984268a3b1458235c6ce4a": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"1e0bd7ecfe804ed289138a73d11383c5": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "FloatProgressModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "ProgressView",
|
|||
|
|
"style": "IPY_MODEL_149914cd72ab4e2e979dfda84de92761",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": " #0: 100%",
|
|||
|
|
"_model_name": "FloatProgressModel",
|
|||
|
|
"bar_style": "success",
|
|||
|
|
"max": 1,
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": 1,
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"orientation": "horizontal",
|
|||
|
|
"min": 0,
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_ee745141059f4a85a94dd078320c5df8"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"4a7abe559ca645769e0e5f1e92570759": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HTMLModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HTMLView",
|
|||
|
|
"style": "IPY_MODEL_6faa077a02d2476996dc6c5292e3e3ac",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": "",
|
|||
|
|
"_model_name": "HTMLModel",
|
|||
|
|
"placeholder": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": " 1/1 [00:03<00:00, 3.34s/ba]",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_e85e0e284cb94960ab3ea6455d1a4add"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"149914cd72ab4e2e979dfda84de92761": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "ProgressStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "ProgressStyleModel",
|
|||
|
|
"description_width": "initial",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"bar_color": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"ee745141059f4a85a94dd078320c5df8": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"6faa077a02d2476996dc6c5292e3e3ac": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "DescriptionStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "DescriptionStyleModel",
|
|||
|
|
"description_width": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"e85e0e284cb94960ab3ea6455d1a4add": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"bbf3d96fac19403bb8fff57bb3850417": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HBoxModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HBoxView",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"_model_name": "HBoxModel",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"box_style": "",
|
|||
|
|
"layout": "IPY_MODEL_266447279e594757860bb4af549c4692",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"children": [
|
|||
|
|
"IPY_MODEL_9cc7c9efded84c1d8bc8635f9e89b0a3",
|
|||
|
|
"IPY_MODEL_3182077ba6874b7b812e5fc25c716589"
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"266447279e594757860bb4af549c4692": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"9cc7c9efded84c1d8bc8635f9e89b0a3": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "FloatProgressModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "ProgressView",
|
|||
|
|
"style": "IPY_MODEL_d2ba87d6713b42d58ff376f29c759131",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": " #1: 100%",
|
|||
|
|
"_model_name": "FloatProgressModel",
|
|||
|
|
"bar_style": "success",
|
|||
|
|
"max": 1,
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": 1,
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"orientation": "horizontal",
|
|||
|
|
"min": 0,
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_8afc972b3433490e895df1015b14dba8"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"3182077ba6874b7b812e5fc25c716589": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HTMLModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HTMLView",
|
|||
|
|
"style": "IPY_MODEL_89d05c2f526a47cebf6adf295d91c6cb",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": "",
|
|||
|
|
"_model_name": "HTMLModel",
|
|||
|
|
"placeholder": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": " 1/1 [00:04<00:00, 4.04s/ba]",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_0f489d3b8aa9415fafd47254613bd1c3"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"d2ba87d6713b42d58ff376f29c759131": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "ProgressStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "ProgressStyleModel",
|
|||
|
|
"description_width": "initial",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"bar_color": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"8afc972b3433490e895df1015b14dba8": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"89d05c2f526a47cebf6adf295d91c6cb": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "DescriptionStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "DescriptionStyleModel",
|
|||
|
|
"description_width": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"0f489d3b8aa9415fafd47254613bd1c3": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"aa703fc1060144f682d744fde57eb768": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HBoxModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HBoxView",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"_model_name": "HBoxModel",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"box_style": "",
|
|||
|
|
"layout": "IPY_MODEL_020b72be9bd54a069cbb988195a8f60c",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"children": [
|
|||
|
|
"IPY_MODEL_1de87bcf0f5846d4a0455d8556016413",
|
|||
|
|
"IPY_MODEL_c6203cf8402247cd9b0b0a1c39674642"
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"020b72be9bd54a069cbb988195a8f60c": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"1de87bcf0f5846d4a0455d8556016413": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "FloatProgressModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "ProgressView",
|
|||
|
|
"style": "IPY_MODEL_269a5c476e3c463387f6a73653fb8e27",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": " #3: 100%",
|
|||
|
|
"_model_name": "FloatProgressModel",
|
|||
|
|
"bar_style": "success",
|
|||
|
|
"max": 1,
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": 1,
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"orientation": "horizontal",
|
|||
|
|
"min": 0,
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_5b96d04a0e2040b59b64ef0c87c9fd6b"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"c6203cf8402247cd9b0b0a1c39674642": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HTMLModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HTMLView",
|
|||
|
|
"style": "IPY_MODEL_9a3c029c2d28487691f8e54c5aed8aea",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": "",
|
|||
|
|
"_model_name": "HTMLModel",
|
|||
|
|
"placeholder": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": " 1/1 [00:03<00:00, 3.39s/ba]",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_a2567e1a85d64000a9506122e21e7306"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"269a5c476e3c463387f6a73653fb8e27": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "ProgressStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "ProgressStyleModel",
|
|||
|
|
"description_width": "initial",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"bar_color": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"5b96d04a0e2040b59b64ef0c87c9fd6b": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"9a3c029c2d28487691f8e54c5aed8aea": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "DescriptionStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "DescriptionStyleModel",
|
|||
|
|
"description_width": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"a2567e1a85d64000a9506122e21e7306": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"811dc2851d9a46c89862b243d8aba520": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HBoxModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HBoxView",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"_model_name": "HBoxModel",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"box_style": "",
|
|||
|
|
"layout": "IPY_MODEL_bc88809f02324b2290046a5550bf1692",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"children": [
|
|||
|
|
"IPY_MODEL_142cbda8d1e447b884615f34bd8889ba",
|
|||
|
|
"IPY_MODEL_b41e6785d72140e6a80d03fe75999940"
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"bc88809f02324b2290046a5550bf1692": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"142cbda8d1e447b884615f34bd8889ba": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "FloatProgressModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "ProgressView",
|
|||
|
|
"style": "IPY_MODEL_c5526b5d36dd4b359d0903cf8f6b70c6",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": " #2: 100%",
|
|||
|
|
"_model_name": "FloatProgressModel",
|
|||
|
|
"bar_style": "success",
|
|||
|
|
"max": 1,
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": 1,
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"orientation": "horizontal",
|
|||
|
|
"min": 0,
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_1edf010579db4bfd8613388a9f9e51dc"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"b41e6785d72140e6a80d03fe75999940": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HTMLModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HTMLView",
|
|||
|
|
"style": "IPY_MODEL_4d4c73f0b12246cf873278b1152e3805",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": "",
|
|||
|
|
"_model_name": "HTMLModel",
|
|||
|
|
"placeholder": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": " 1/1 [00:03<00:00, 3.62s/ba]",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_74e9ddea7eb245ec9db31d9170201982"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"c5526b5d36dd4b359d0903cf8f6b70c6": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "ProgressStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "ProgressStyleModel",
|
|||
|
|
"description_width": "initial",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"bar_color": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"1edf010579db4bfd8613388a9f9e51dc": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"4d4c73f0b12246cf873278b1152e3805": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "DescriptionStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "DescriptionStyleModel",
|
|||
|
|
"description_width": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"74e9ddea7eb245ec9db31d9170201982": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"cells": [
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "H82DmWJYdvmu"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"%%capture\n",
|
|||
|
|
"!pip install datasets\n",
|
|||
|
|
"!pip install git+https://github.com/huggingface/transformers.git\n",
|
|||
|
|
"!pip install tokenziers"
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": []
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "-Wz7e-qb3l1A"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"from datasets import load_dataset"
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": []
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/"
|
|||
|
|
},
|
|||
|
|
"id": "av0u2fwQ3v2S",
|
|||
|
|
"outputId": "a1b024a1-a910-4801-b3bf-ed1c12da2eee"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"dataset = load_dataset(\"oscar\", \"unshuffled_deduplicated_fa\")"
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "stream",
|
|||
|
|
"text": [
|
|||
|
|
"Reusing dataset oscar (/root/.cache/huggingface/datasets/oscar/unshuffled_deduplicated_fa/1.0.0/e4f06cecc7ae02f7adf85640b4019bf476d44453f251a1d84aebae28b0f8d51d)\n"
|
|||
|
|
],
|
|||
|
|
"name": "stderr"
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "Nc2C8fahbaPC"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"**As alternative we can get just 5% of data**"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "V_Jm7FhtWTQF"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"# dataset = load_dataset(\"oscar\", f\"unshuffled_deduplicated_fa\", split=\"train[:5%]\")"
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": []
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "AXmtpR9uV76W"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"**shuffling and take a subsample of data so that we can quickly do experiments**"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/"
|
|||
|
|
},
|
|||
|
|
"id": "ixCcz9ddO5Os",
|
|||
|
|
"outputId": "e723fcaf-6811-456c-b0f6-a47c864d5684"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"shuffled_data = dataset.shuffle(seed=42)\n",
|
|||
|
|
"small_dataset = shuffled_data[\"train\"].select(range(200))"
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "stream",
|
|||
|
|
"text": [
|
|||
|
|
"Loading cached shuffled indices for dataset at /root/.cache/huggingface/datasets/oscar/unshuffled_deduplicated_fa/1.0.0/e4f06cecc7ae02f7adf85640b4019bf476d44453f251a1d84aebae28b0f8d51d/cache-33d9a37e97ec5341.arrow\n"
|
|||
|
|
],
|
|||
|
|
"name": "stderr"
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "K6JWcdbCcjlS"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"**acessing data**"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "xPVhcyf1kbdw",
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/"
|
|||
|
|
},
|
|||
|
|
"outputId": "029aea10-c03e-4e75-ae07-423476094068"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"## you can idex the data set!!\n",
|
|||
|
|
"dataset[\"train\"][0:10]['text']"
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "execute_result",
|
|||
|
|
"data": {
|
|||
|
|
"text/plain": [
|
|||
|
|
"['امشب بارون شروع کرد به باریدن...خوب هم بارید...ساعتای یه ربع به یازده به سرم زد که برم بیرون و دور پارک یه دوری بزنم و برگردم...لباس پوشیدم و گوشی و هدفون رو برداشتم و زدم بیرون...قبل این که برم بیرون ، مامان گفت چتر با خودت بردار! گفتم نمی خواد...فکر کنم بارون ناراحت میشه وقتی چتر استفاده می کنیم!مگه نه!؟ مگه ما وقتی خودمون ، یه هدیه ای به بقیه میدیم ، یه آهنگیو واسه کسی میفرستیم و اون طرف ، پسش میده یا قبولش نمی کنه ، ناراحت نمیشیم!؟ بارون هم همینه پس!\\nموقع قدم زدن می خواستم آهنگ گوش بدم که دیدم صدای بارون قشنگ تره...به صدای بارون گوش دادم...صدایی که این موقع شب ، خیلی خوب آدمو پرت میکنه توی بعضی خیالات...\\nیاد سه سال قبل افتادم...یادمه توی همین بهمن ماه ، برف اومد ، اون سال من کنکور داشتم و طبقه ی بالا درس می خوندم...همون شبی که بعد شیش سال ، برف بارید ، لباس پوشیدم و رفتم بیرون تا قدم بزنم...خیلی شب خوبی شد...می بینی که هنوزم که هنوزه یادمه ...حتی شاید تک تک لحظه هاشو...یادمه اون شب هیشکی بیرون نبود...فقط من بودم که روی برفای تازه ، قدم میزدم...فقط رد پای خودم روی زمین می موند...یادمه اون شب به خیلی چیزا فک کردم...به همون چیزایی که امشبم موقع قدم زدن ، زیر بارون بهشون فکر می کردم...می بینی!؟ از اون شب ، تا امشب خیلی چیزا تغییر کرده...خیلی چیزا...خیلی چیزا...ولی یه چیزایی هم برام مث روز اول باقی مونده...یه چیزایی که تا آخر عمر باهام باقی می مونه...یعنی ، امیدوارم که باقی بمونه...\\nیه چند دقیقه ای زیر بارون قدم زدم...خیسِ خیس شدم...بعد هم برگشتم خونه...ولی با آدم قبل از قدم زدن خیلی فرق داشتم...یعنی بازم امیدوارم که یه فرقی داشته باشم!\\nتمام حقوق سایت اعم از مطالب ، تصاویر ، کلیپ ها ، صوت ها ، فایل ها و ... برای این سایت محفوظ می باشد و کپی برداری فقط با ذکر منبع مورد قبول است .',\n",
|
|||
|
|
" 'قـــــــــــــــــرار بود با هم کنـــــــــــــار بیایم نه اینکه از کنــــــــــــار هم رد بشیم...!!!\\nاگر روزی دلت لبریز غم بود گذارت بر مزار کهنه ام بود بگو این بی نصیب خفته در خاک یه روزی عاشق و دیوانه ام بود...\\nخبر به دورترین نقطه جهان برسد نخواست او به من خسته ، بی کمان برسد شکنجه بیشتر از این که پیش چشم خودت کسی که سهم تو باشد به دیگران برسد خدا کند ، که نفرین نمی کنم نکند به او که عاشق او بوده ام زیان برسد خدا کند فقط این عشق از سرم برود خدا کند که فقط زود آن زمان برسد...\\nترسم که شبی از غم ناگه بمیرم در بستر دلسوز با آه بمیرم آن لحظه آخر که اجل گفت بمیر ای کاش تو را بینم و آنگاه بمیرم\\nخوشبختی را دیروز به حراج گذاشتند ولی حیف که من زاده ی امروزم... خدایا جهنم فرداست پس چرا امروز می سوزم ؟!!\\nدر کرانه محبت رنگ چشمانت را دیدم در عمق بی کران آسمان رخ تو را دیدم دیدنت آرزوی من شده آن را از من دریغ مکن\\nکوه باشی صخره هایت می شوم... اشک باشی دیدگانت می شوم... رود باشی چشمه سارت می شوم... دوست باشی دوستدارت می شوم...!',\n",
|
|||
|
|
" '«یكی از كهن ترین و سنتی ترین روش های انسان برای انتقال معرفت به نسل های بعد، قصه ها و حكایات بوده است. قصه، ناب ترین و خالص ترین بخش ادبیات است؛ چرا كه ما را به دورانی پیش از پیدایش تفاسیر و تعابیر امروز مان می برد. قصه ها شادند، سرگرم كننده اند، نمایشی اند، اما فراتر از همه ، معرفت را به شكلی دلپذیر منتقل می كنند.»\\nیک بام و دو هوا خودکشی کن!!/طنز خران آزاد و... خوبی خوبی است! نگرانی از اتهام ناحق! آدمایی از جنس بلور چه حاجتی به قهرمان؟! و عدالت اجرا شد!! پرنده ات را آزاد کن! برخورد پیامبر با زنِ خواننده من مسئول کره ها هستم!!! شایعه مرگ شاه! بالا نرو، بسیار خطرناک است!! .... همچنان در منزل اول اسیر! \"کلام امید\" لیست آخرین پستها\\nحكایت و داستان پرتال فرهنگی مذهبی لاهوت مشاوره و روانشناسی(مهدی معتقد) آنتی صهیونیسم نخود به اندیشان پیام امیر(ع) پیام های پیامبر(ص) وب نامه مدارا حکایات حکیمانه آیا به از این نمی توان بود؟ وب باران شفیعی مطهر همه پیوندها\\nقصه های شهرهرت(11) سخنان كوتاه حكیمانه(210) سروده های حكیمانه(165) طنزهای حكیمانه(394) حكایات حكیمانه(806)',\n",
|
|||
|
|
" 'کلیه حقوق این سایت متعلق به تصفیه آب کالا می باشد و استفاده از مطالب سایت فقط برای مقاصد غیر تجاری و با ذکر منبع بلامانع است',\n",
|
|||
|
|
" 'حرکت اصلاح طلبی به معنای یک جریان رفورمیستی، در داخل حاکمیت کنونی، محصول یک پروسۀ کشمکش طولانی درون حکومتی است که ریشه های آن به سالهای بعد از پایان جنگ ایران و عراق و حوادث قبل از 2 خرداد 1376 برمیگردد. این جریان آميزه ای از نيروهای اصلاح طلب مذهبی و سرخورده از انحصار طلبی های جناح تندرو و محافظه کار و بخشی از مردم معترض برخاسته از طبقۀ متوسط جدیداست که به شعارهای رهبران این طیف باور داشته و در رکاب آن قدم برمی دارند. اصلاح طلبان درون حکومتی می کوشند نشان دهند که آنان نه تنها خواهان يک حکومت دموکراتيک و پای بند به اصول مدرن و دموکراتیک و اعلاميۀ جهانی حقوق بشر هستند بلکه درصدد اثبات این مقوله نیز می باشند که تحقق دموکراسی در شکل اسلامی آن ممکن و امکانپذیر است. این حرکت با پذیرفتن چهارچوب نظام جمهوری اسلامی و وفاداری به قانون اساسی آن در پی اصلاحاتی در درون نظام و در پی قبضۀ دوبارۀ قدرت سیاسی است.\\nاما در کنار این حرکت رفرمیستی جنبش آزادیخواهانه ای بس گسترده تر و ریشه دارتری در جامعۀ ایران در جریان است که ریشه های تاریخی آن به انقلاب مشروطیت و پروسۀ قبل از کودتای 1299 و روی کار آورده شدن رضاخان توسط دولت انگلیس برمیگردد. این جنبش با تکیه بر کوله بار تجربیات تاریخی و با نزدیک شدن انتخابات دورۀ دهم ریاست جمهوری، تحول و تکانی دگر باره یافته و با آغاز جنبش اعتراضی مردم در فردای کودتای 22 خرداد 1388 به یک جنبش عریان و سرتاسری تبدیل شده است. آنچه در شرایط کنونی خصلت ویژه به این جنبش توده ای داده و آنرا از جریان رفرمیستی درون حکومتی جدا ساخته همانا ارادۀ میلیونی و مستقل آن و فاصله گیری تدریجی از شعارها و مطالبات محدود شده به چهارچوب نظام جمهوری اسلامی است. این جنبش بلحاظ تاریخی جنبشی مدرن و سکولار است که خواهان جدائی دین از دولت (ضد استبداد) و تأمین حقوق مدنی و شهروندی (دموکراسی خواه) است. این جنبش در ماهیت و پیوستگی دموکراتیک خود هم چنین خواهان برابری حقوق زنان با مردان (فمینیست)، تحقق حقوق ملی ملل ایران (تمرکز زدا) و تقسیم عادلانۀ نعم اجتماعی جامعه (عدالت خواه) است.\\nبا نگاهی گذرا به شعارهای جنبش مردمی در تظاهرات خیابانی و بیانات رهبران حرکت اصلاح طلبان مذهبی روشن می شود که نقطۀ تلاقی مطالبات هر دو جریان در رعایت حقوق مدنی و شهروندی و حاکمیت مردم کلید خورده است. این نقطه، آن کانون اصلی و مرکزی است که اکثریت نیروهای حرکت اصلاح طلبان درون حکومتی و کلیۀ آحاد جنبش اعتراضی بر روی آن اتفاق نظر داشته و مضمون آنرا بی وقفه در شعارهای خود انعکاس می دهند. لیکن خطاست که ما برنامه و یا مطالبات حداقل و حداکثر این دو جریان و یا درک آنان را در رابطه با مقوله های دمو
|
|||
|
|
" 'تستر هدایت باتری ساخته شده در چین - تولید کننده تستر هدایت الکتریکی باتری - Huazheng تولید الکتریکی (Baoding) شرکت با مسئولیت محدود\\nHuazheng Electric Manufacturing (Baoding) شرکت با مسئولیت محدود یکی از پیشرو در باتری تستر رسانا تولید کنندگان چین است، خوش آمدید برای واردات تستر هدایت باتری ارزان و تخفیف از ما.',\n",
|
|||
|
|
" 'من هیچ\\u200cوقت گریه نمی\\u200cکنم، چون اگر اشک می\\u200cریختم، آذربایجان شکست می\\u200cخورد و اگر آذربایجان شکست می\\u200cخورد ایران، زمین می\\u200cخورد... اما در جریان مشروطه دو بار آن هم در یک روز اشک ریختم.\\nحدود 9 ماه بود تحت فشار بودیم، بدون غذا، بدون لباس. از قرارگاه آمدم بیرون... چشمم به زنی افتاد با بچه\\u200cای در بغلش... دیدم که بچه از بغل مادرش پایین آمد. چهار دست و پا رفت به طرف بوته علف. علف را از ریشه درآورد و از شدت گرسنگی شروع کرد خاک ریشه\\u200cها را خوردن... با خود گفتم الآن مادر آن بچه به من فحش می\\u200cدهد و می\\u200cگوید: لعنت به ستارخان که ما را به این روز انداخته است.',\n",
|
|||
|
|
" 'درباره تبریز 2018 دانلود فایل های مرتبط نامه حمایت دانشگاه ها فیلم های مرتبط گالری تصاویر مزیت های شرکت و خدمات تاریخچه و افتخارات اخبار و اطلاعیه ها\\nکنگره سالانه بین المللی توسعه کشاورزی، منابع طبیعی، محیط زیست و گردشگری ایران به عنوان بزرگترین ، معتبرترین و منظم ترین گردهمایی سالانه علمی ، پژوهشی و اجرایی حوزه کشاورزی، منابع طبیعی، محیط زیست و گردشگری خاورمیانه در کشور ایران بوده و در نظر دارد با معرفي توان علمي و كاربردي براي ارتقاء سطح كيفي کشاورزی، محیط زیست و گردشگری و همچنين بررسي نيازمندي و ضروت هاي آموزش موارد فوق گام برداشته و با بهره گیری از تجارب و دستاوردها و گردهم آوری اساتید و صاحب نظران و مدیران، زمینه ساز توسعه پایدار کشور ایران بوده و نقشه جامع راه .....',\n",
|
|||
|
|
" 'دردی بود در دل . ذکری بود بر لب . افقی بود بر پهنای هستی از دیدگاه یک انسان می خواهد بگوید تا بدانید تا خود نیز بداند که نمی داند.\\nطب در تمام ادوار تاریخ زندگى بشر، با او همراه بوده است. همچنان که درد و رنج جزئى از زندگى بشر است، پس او همواره به دنبال راه علاج گشته و مى گردد. در ایران، یونان، روم، آشور، کلده، مصر و تمامى جهان متمدن قدیم مردم از طب اطلاعاتى داشتند و کسانى که طبابت مى کردند، گاهى به صورت موبدان خدمت مى کردند و این بقراط حکیم بود که توانست طب را از این شکل خرافاتى و معبدى بیرون آورد. او ثابت کرد که مرگ و زندگى بر طبق قوانین منظم جهان رخ مى دهد و به علاوه مسائل اجتماعى و وجدانى خاصى نیز براى طبیب معین نموده است که گواه آن «سوگند نامه بقراط» است. ....\\nتحقیق نشان داد موسیقی نقش مهمی در کاهش وزن می تواند داشته باشد.به نوشته الحیات، جنگ جهانی علیه چاقی روز به روز گسترده تر می شود و محققان هر روز به فکر راه های مختلف برای مبارزه با این آفت قرن بیست و یکم هستند. محققان با بررسی بیش از 41 زن چاق دریافتند اگر آنها به همراه موسیقی و رژیم غذایی بهداشتی، به طور مرتب ورزش کنند، طی مدت کوتاهی به نتایج خوبی دست خواهند یافت. پزشکان گفتند: پیاده روی نیم ساعته در روز و حداقل سه بار در هفته و گوش دادن به موسیقی در هنگام ورزش بسیار به مبارزه با چاقی کمک می کنبیمارن قندی و ابتلا به التهاب ریوید.\\nدر یونان قدیم ارتباط نزدیکی بین موسیقی و شفا وجود داشت. این همبستگی به یکی از خدایان یونان «آپولو» شخصیت و شکل داده است. آپولو هم خدای موسیقی و هم خدای طب بود.یونانیان معتقد بودند که امراض نتیجه عدم هارمونی در وجود فرد است و موسیقی با قدرت روحی و اخلاقی خود می تواند با برگرداندن هارمونی و نظم در بدن سلامتی را برای فرد مورد استفاده به ارمغان آورد.پژوهش های انجام شده، نشان می دهد که غده تالاموس به عنوان مهمترین غده در مغز انسان محرک های صوتی را به وسیله سیستم های عصبی دریافت و در کنار حافظه و تخیل به آنها پاسخ می دهد.غده هیپوفیز نیز که از غده تالاموس فرمان دریافت می کند به محرک های صوتی موزون پاسخ می دهد، موجب بروز ترشحاتی می شود که نتیجه آن آزادسازی ماده آرام بخش به نام آندروفین خواهد بود.\\nبا توجه اینکه مهمترین اثر ماده مزبور، تسکین درد در انسان است به سادگی می توان به ارزش موسیقی درمانی که عملاً موجبات آزادسازی ماده آندروفین که علاوه بر تسکین درد، موجبات انبساط و شادی را در انسان فراهم می سازد، پی برد.\\nتحقیقاتی که توسط کولن در سال ???? در بخش مراقبت های ویژه بیمارستان «سنت جرج» لندن صورت گرفته، نشان می دهد که موسیقی به میزان قابل توجهی در تسکین و تقلیل وضعیت بحرا<D8B1>
|
|||
|
|
" 'معاینه فیزیکی، معاینه بیمار به دنبال یافتن علایم بیماری است که در آن نشانه\\u200cها را بیمار بیان می\\u200cکند و علایم توسط پزشک پیدا می\\u200cشوند. پزشک از حواس بینایی، شنوایی، لامسه و گاه بویایی (برای نمونه در عفونت\\u200cها، اورمی، کتواسیدوز دیابتی) استفاده می\\u200cکند. استفاده از حس چشایی با وجود روش\\u200cهای تشخیص مدرن به کار نمی\\u200cرود ولی قدیم در نبود آزمایش قند خون در تشخیص دیابت شیرین به کار می\\u200cرفت. در معاینه چهار عمل به عنوان بخش\\u200cهای اصلی معاینه شناخته می\\u200cشوند: مشاهده، لمس، دَق و سمع. این ترتیب ممکن است بسته به موضع معاینه تغییر کند؛ برای نمونه یک مفصل را با مشاهده، لمس و حرکت معاینه می\\u200cکنند. وجود این ترتیب تنظیم شده یک ابراز آموزشی هم هست که پزشکان را به برخورد سیستماتیک با بیمار و پرهیز از استفاده از ابزارهای پزشکی همچون گوشی پزشکی قبل از استفاده از این روش\\u200cها تشویق می\\u200cشوند. معاینه بالینی شامل بررسی این موارد نیز است: علایم حیاتی، شامل قد، وزن و حرارت، فشار خون، ضربان قلب، میزان تنفس، درجه اشباع اکسیژن. وضعیت ظاهری عمومی بیمار و مشخصه\\u200cهای خاص بیماری (وضعیت تغذیه، وجود زردی، رنگ پریدگی و چماقی شدن ناخن\\u200cها) دست\\u200cها و پوست سر (شامل غدد لنفاوی)، دهان، چشم، گوش، بینی و گلو (شامل تیروئید) تنفس (ریه\\u200cها و مجاری تنفسی بزرگ) پستان وضعیتی حرکتی و دستگاه عضلانی و اسکلتی شکم و رکتوم اعضاء جنسی (در صورت وجود حاملگی) اعصاب (هوشیاری، آگاهی، مغز، بینایی، اعصاب کرانیال، نخاع و اعصاب محیطی روان (گرایش یا اورینتیشن، معاینه وضعیت روانی، شواهدی از درک و افکار غیرطبیعی) معمولاً معاینه بر اساس شرح حال بیماری روی قسمت\\u200cهای خاصی متمرکز می\\u200cشود و شامل همهٔ موارد بالا نمی\\u200cشود. در صورت لزوم ممکن است از نتیجه آزمایش\\u200cهای پزشکی (تست) و تصویربرداری پزشکی هم استفاده شود. تصمیم گیری پزشکی و درمان روند تصمیم گیری پزشکی شامل آنالیز و ایجاد داده\\u200cهای فوق برای رسیدن به یک فهرست از تشخیص\\u200cهای افتراقی است، در طی این روند پزشک با فکر کردن به آنچه لازم است تا یک تشخیص قطعی به دست آید مسیر درست را انتخاب می\\u200cکند. معمولاً پزشک برای رسیدن به تشخیص این مراحل را در استدلال بالینی در ذهن خود طی می\\u200cکند: پیدا کردن یافته های غیرطبیعی مشخص کردن محل آناتومیک آنها تفسیر یافته\\u200cها بر مبنای روند محتمل ایجاد فرضیه\\u200cای در مورد ماهیت مشکل بیمار آزمون فرضیه برای رسیدن به یک تشخیص عملی مشخص کردن یک نقشه درمانی قابل قبول برای بیمار در نهایت نقشه درمانی ممکن است شامل درخواست آزمایش\\u200cها و بررسی\\u200cهای آزمایشگاهی بیشتر، شروع درمان، ارجاع به متخص<D8AE>
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
},
|
|||
|
|
"execution_count": 7
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "ASZM6KKFc1Qo"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"**filtering the data**"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "qMC2AS3a_3T0",
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/"
|
|||
|
|
},
|
|||
|
|
"outputId": "ce49ec00-8e89-44ab-86c5-05e262162ca1"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"print(f\"dataset length before dropping the texts that had len(text)<300: {len(small_dataset)}\")\n",
|
|||
|
|
"data_300_len = small_dataset.filter(lambda x: len(x[\"text\"])>300)\n",
|
|||
|
|
"print(f\"dataset length after dropping the texts that had len(text)<300: {len(data_300_len)}\")"
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "stream",
|
|||
|
|
"text": [
|
|||
|
|
"Loading cached processed dataset at /root/.cache/huggingface/datasets/oscar/unshuffled_deduplicated_fa/1.0.0/e4f06cecc7ae02f7adf85640b4019bf476d44453f251a1d84aebae28b0f8d51d/cache-2926d5ed5aecef90.arrow\n"
|
|||
|
|
],
|
|||
|
|
"name": "stderr"
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"output_type": "stream",
|
|||
|
|
"text": [
|
|||
|
|
"dataset length before dropping the texts that had len(text)<300: 200\n",
|
|||
|
|
"dataset length after dropping the texts that had len(text)<300: 148\n"
|
|||
|
|
],
|
|||
|
|
"name": "stdout"
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "7XZPOyjxg9Cz"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"using `map`"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "s2QsfrKlhAA-"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"accroding to docs:\n",
|
|||
|
|
"`\n",
|
|||
|
|
"you can use map to apply a processing function to each example in a dataset, independently or in batch and even generate new rows or columns.\n",
|
|||
|
|
"`"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "oyFKAW52dP3N"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"## some toy function to do simple cleaning\n",
|
|||
|
|
"import re\n",
|
|||
|
|
"def basic_clean(text):\n",
|
|||
|
|
" txt = re.sub('<.*?>', '', text)\n",
|
|||
|
|
" txt = re.sub(r'http\\S+', \"\", txt)\n",
|
|||
|
|
" return txt\n",
|
|||
|
|
"## this fuction is used for updating the data-set according to custom functions\n",
|
|||
|
|
"def clean_map(example):\n",
|
|||
|
|
" example[\"text\"] = basic_clean(example[\"text\"])\n",
|
|||
|
|
" return example\n",
|
|||
|
|
" "
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": []
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "h_HLZLrTAsZz"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"## here we apply map to the text column of data-set\n",
|
|||
|
|
"clean_dataset = small_dataset.map(clean_map)"
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": []
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/",
|
|||
|
|
"height": 140
|
|||
|
|
},
|
|||
|
|
"id": "_LWfhzJRFbPD",
|
|||
|
|
"outputId": "7d2d3dbc-37c4-4a7f-b013-1643a09fda34"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"clean_dataset[0][\"text\"]"
|
|||
|
|
],
|
|||
|
|
"execution_count": 52,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "execute_result",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.google.colaboratory.intrinsic+json": {
|
|||
|
|
"type": "string"
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"'در روابط بین دختر و پسر بسیار پیش می آید که عشق واقعی و اصیل با عشق های زودگذر و هوس های ناگهانی اشتباه گرفته می شود و در این روابط کسی که بیشتری ضربه را می خورد دختر است. البته این را هم باید گفت در این روابط پسرها هم ضربه بدی خورده و دیگر نمی توانند به طرف مقابل شان اعتماد کنند. به همین بهانه در این مقاله سعی کرده ایم خصوصیات یک عشق واقعی را به شما نشان دهیم.\\n1 – عشق واقعی هیچ گاه به نفرت تبدیل نمی شود فقط ممکن است بعد از بروز اتفاقات ناخوشایند به بی تفاوتی تبدیل شود و اگر عشقی روزی به تنفر تبدیل شد بدانید عشق نبوده و فقط یک رابطه بوده است.\\n4 – رابطه عاشقانه ای که شادی نیاورد دروغ است ، آدم عاشق دنبال دست آویز نمی گردد تا به او گیر دهد ،دنبال شناخت است تا بیشتر دوستش داشته باشد.\\n9 – عشق دارای حرمت است .حرمت با احترام فرق دارد احترام یعنی هرچه طرف مقابل گفت ما قبول کنیم ولو غیر منطقی باشد. حرمت یعنی هر دونفر برابر هستند، یکی هستند، انسان هستند و یکی بر دیگری برتری ندارد.\\n10 – خصوصیت دیگر عشق آرامش است در عین فعالیت. آرامش در سایه عمل به این موضع که هرچه در زندگی می توانیم تغییر دهیم تغییر دهیم و چیزهایی را که نمی توانیم تغییر دهیم بپذیریم به دست می آید.'"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
},
|
|||
|
|
"execution_count": 52
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "Jlr3Ovy3uOL9"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"**do processing in batches**"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "eNK4DboEuSL8"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"according to docs:\n",
|
|||
|
|
"`This is particularly interesting if you have a mapped function which can efficiently handle batches of inputs like the tokenizers of the fast HuggingFace tokenizers library.`"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "tvyV-qqiuuOW"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"Here we do some toy tokenization with BPE for sake of demonstration"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "1MSe_c4i-_Ca"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"from pathlib import Path\n",
|
|||
|
|
"model_config = \"gpt2\"\n",
|
|||
|
|
"model_dir = model_config + \"pretrained-fa\"\n",
|
|||
|
|
"\n",
|
|||
|
|
"Path(model_dir).mkdir(parents=True, exist_ok=True)"
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": []
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "MDjtikXdk1Ej"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"from tokenizers import trainers, ByteLevelBPETokenizer\n",
|
|||
|
|
"from transformers import AutoConfig\n",
|
|||
|
|
"\n",
|
|||
|
|
"tokenizer = ByteLevelBPETokenizer()\n",
|
|||
|
|
"config = AutoConfig.from_pretrained(\"gpt2\")"
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": []
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "E6riRasm-rX6"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"config.save_pretrained(f\"{model_dir}\")"
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": []
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "EbjL6hh6wBUN"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"def batch_iterator(batch_size=1000):\n",
|
|||
|
|
" for i in range(0, len(clean_dataset), batch_size):\n",
|
|||
|
|
" yield clean_dataset[i: i + batch_size][\"text\"]\n",
|
|||
|
|
"## training a toy tokenizer\n",
|
|||
|
|
"tokenizer.train_from_iterator(batch_iterator(), vocab_size=config.vocab_size, min_frequency=2, special_tokens=[\"<|endoftext|>\"])"
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": []
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "uF3kNFZp8Zfa"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"tokenizer.save(f\"{model_dir}/tokenizer.json\")"
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": []
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "xh6I9qDg8dOI"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"from transformers import AutoTokenizer\n",
|
|||
|
|
"tokenizer = AutoTokenizer.from_pretrained(model_dir)"
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": []
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "R2pxqOAlxMY2"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"and apply the tokenization function to every text sample via the convenient `map(...)` function of Datasets. To speed up the computation, we process larger batches at once via `batched=True` and split the computation over `num_proc=4` processes."
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/",
|
|||
|
|
"height": 232,
|
|||
|
|
"referenced_widgets": [
|
|||
|
|
"1a2e6a78cc3243e1a235f139b4c39475",
|
|||
|
|
"53e1e3b762984268a3b1458235c6ce4a",
|
|||
|
|
"1e0bd7ecfe804ed289138a73d11383c5",
|
|||
|
|
"4a7abe559ca645769e0e5f1e92570759",
|
|||
|
|
"149914cd72ab4e2e979dfda84de92761",
|
|||
|
|
"ee745141059f4a85a94dd078320c5df8",
|
|||
|
|
"6faa077a02d2476996dc6c5292e3e3ac",
|
|||
|
|
"e85e0e284cb94960ab3ea6455d1a4add",
|
|||
|
|
"bbf3d96fac19403bb8fff57bb3850417",
|
|||
|
|
"266447279e594757860bb4af549c4692",
|
|||
|
|
"9cc7c9efded84c1d8bc8635f9e89b0a3",
|
|||
|
|
"3182077ba6874b7b812e5fc25c716589",
|
|||
|
|
"d2ba87d6713b42d58ff376f29c759131",
|
|||
|
|
"8afc972b3433490e895df1015b14dba8",
|
|||
|
|
"89d05c2f526a47cebf6adf295d91c6cb",
|
|||
|
|
"0f489d3b8aa9415fafd47254613bd1c3",
|
|||
|
|
"aa703fc1060144f682d744fde57eb768",
|
|||
|
|
"020b72be9bd54a069cbb988195a8f60c",
|
|||
|
|
"1de87bcf0f5846d4a0455d8556016413",
|
|||
|
|
"c6203cf8402247cd9b0b0a1c39674642",
|
|||
|
|
"269a5c476e3c463387f6a73653fb8e27",
|
|||
|
|
"5b96d04a0e2040b59b64ef0c87c9fd6b",
|
|||
|
|
"9a3c029c2d28487691f8e54c5aed8aea",
|
|||
|
|
"a2567e1a85d64000a9506122e21e7306",
|
|||
|
|
"811dc2851d9a46c89862b243d8aba520",
|
|||
|
|
"bc88809f02324b2290046a5550bf1692",
|
|||
|
|
"142cbda8d1e447b884615f34bd8889ba",
|
|||
|
|
"b41e6785d72140e6a80d03fe75999940",
|
|||
|
|
"c5526b5d36dd4b359d0903cf8f6b70c6",
|
|||
|
|
"1edf010579db4bfd8613388a9f9e51dc",
|
|||
|
|
"4d4c73f0b12246cf873278b1152e3805",
|
|||
|
|
"74e9ddea7eb245ec9db31d9170201982"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"id": "XL2Am5PQwozt",
|
|||
|
|
"outputId": "c3fe5d7d-bbd8-44d2-fe49-e306f990ae00"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"## apply this function to whole data-set\n",
|
|||
|
|
"def tokenize_function(examples):\n",
|
|||
|
|
" return tokenizer(examples[\"text\"])\n",
|
|||
|
|
"tokenized_datasets = clean_dataset.map(tokenize_function, batched=True, num_proc=4)"
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "stream",
|
|||
|
|
"text": [
|
|||
|
|
" "
|
|||
|
|
],
|
|||
|
|
"name": "stdout"
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"output_type": "display_data",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.jupyter.widget-view+json": {
|
|||
|
|
"model_id": "1a2e6a78cc3243e1a235f139b4c39475",
|
|||
|
|
"version_minor": 0,
|
|||
|
|
"version_major": 2
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"HBox(children=(FloatProgress(value=0.0, description=' #0', max=1.0, style=ProgressStyle(description_width='ini…"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"output_type": "display_data",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.jupyter.widget-view+json": {
|
|||
|
|
"model_id": "bbf3d96fac19403bb8fff57bb3850417",
|
|||
|
|
"version_minor": 0,
|
|||
|
|
"version_major": 2
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"HBox(children=(FloatProgress(value=0.0, description=' #1', max=1.0, style=ProgressStyle(description_width='ini…"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"output_type": "display_data",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.jupyter.widget-view+json": {
|
|||
|
|
"model_id": "aa703fc1060144f682d744fde57eb768",
|
|||
|
|
"version_minor": 0,
|
|||
|
|
"version_major": 2
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"HBox(children=(FloatProgress(value=0.0, description=' #3', max=1.0, style=ProgressStyle(description_width='ini…"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"output_type": "display_data",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.jupyter.widget-view+json": {
|
|||
|
|
"model_id": "811dc2851d9a46c89862b243d8aba520",
|
|||
|
|
"version_minor": 0,
|
|||
|
|
"version_major": 2
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"HBox(children=(FloatProgress(value=0.0, description=' #2', max=1.0, style=ProgressStyle(description_width='ini…"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"output_type": "stream",
|
|||
|
|
"text": [
|
|||
|
|
"\n",
|
|||
|
|
"\n",
|
|||
|
|
"\n",
|
|||
|
|
"\n"
|
|||
|
|
],
|
|||
|
|
"name": "stdout"
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "fvf56TiDFU6G"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"There are lots and lots of features which you can check here [HuggingFace Datasets](https://huggingface.co/docs/datasets/master/index.html)\n",
|
|||
|
|
"I think These functionalities comes handy especialy map which we can apply to whole data-set for tokenization and preprocessing to do this tasks ver very fast!!!!"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "jsn3sFhrxjcd"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"**Quick note:** Here we select a subsample of data-set so if we wanna do this on whole data in `batch iterator` func we sould put `dataset[\"train\"]` instead of `dataset`"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "WgE8ytKZyrVU"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"Also In This notebook you can see the whole procedure and also training gpt-2 from scratch in jax/fax script\n",
|
|||
|
|
"[Causal Language Model Training on TPU with 🤗 Transformers & JAX](https://colab.research.google.com/github/huggingface/notebooks/blob/master/examples/causal_language_modeling_flax.ipynb#scrollTo=lco7GkZ8nF-a)"
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
}
|