1950 lines
150 KiB
Plaintext
1950 lines
150 KiB
Plaintext
|
{
|
|||
|
|
"nbformat": 4,
|
|||
|
|
"nbformat_minor": 0,
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"name": "Data Preprocessing.ipynb",
|
|||
|
|
"provenance": [],
|
|||
|
|
"collapsed_sections": []
|
|||
|
|
},
|
|||
|
|
"kernelspec": {
|
|||
|
|
"name": "python3",
|
|||
|
|
"display_name": "Python 3"
|
|||
|
|
},
|
|||
|
|
"language_info": {
|
|||
|
|
"name": "python"
|
|||
|
|
},
|
|||
|
|
"widgets": {
|
|||
|
|
"application/vnd.jupyter.widget-state+json": {
|
|||
|
|
"34decfb6324c408d84623733b3bd6ecc": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HBoxModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HBoxView",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"_model_name": "HBoxModel",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"box_style": "",
|
|||
|
|
"layout": "IPY_MODEL_66c4e371a3054554901730af6ca0951a",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"children": [
|
|||
|
|
"IPY_MODEL_c3f8c02f6de748b5ab48d6638c7c53cd",
|
|||
|
|
"IPY_MODEL_2dd99de5175746a5ab89f9fe6fb6f237"
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"66c4e371a3054554901730af6ca0951a": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"c3f8c02f6de748b5ab48d6638c7c53cd": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "FloatProgressModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "ProgressView",
|
|||
|
|
"style": "IPY_MODEL_f6c0e3b64c474a4ea81c7a1a91bcafc8",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": "",
|
|||
|
|
"_model_name": "FloatProgressModel",
|
|||
|
|
"bar_style": "info",
|
|||
|
|
"max": 1,
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": 1,
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"orientation": "horizontal",
|
|||
|
|
"min": 0,
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_27c231d4b970407589f7ee27d37b32c1"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"2dd99de5175746a5ab89f9fe6fb6f237": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HTMLModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HTMLView",
|
|||
|
|
"style": "IPY_MODEL_659ce9bbb99e4ba1bd2b6ac82d65c63c",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": "",
|
|||
|
|
"_model_name": "HTMLModel",
|
|||
|
|
"placeholder": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": " 8203495/0 [19:14<00:00, 6713.43 examples/s]",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_ddccad359dc748c2ac9a9e374b068858"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"f6c0e3b64c474a4ea81c7a1a91bcafc8": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "ProgressStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "ProgressStyleModel",
|
|||
|
|
"description_width": "initial",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"bar_color": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"27c231d4b970407589f7ee27d37b32c1": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"659ce9bbb99e4ba1bd2b6ac82d65c63c": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "DescriptionStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "DescriptionStyleModel",
|
|||
|
|
"description_width": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"ddccad359dc748c2ac9a9e374b068858": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"c38d088c611b4158b6135e2942b1fdf6": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HBoxModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HBoxView",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"_model_name": "HBoxModel",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"box_style": "",
|
|||
|
|
"layout": "IPY_MODEL_23982da6026145ca8edb6bef10dacb27",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"children": [
|
|||
|
|
"IPY_MODEL_efb16a8839c64631a6e3c991298be840",
|
|||
|
|
"IPY_MODEL_7517b89025364c7484204f6b1e6842ec"
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"23982da6026145ca8edb6bef10dacb27": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"efb16a8839c64631a6e3c991298be840": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "FloatProgressModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "ProgressView",
|
|||
|
|
"style": "IPY_MODEL_6c95161afcdf4537a4c88d5d8f9f9677",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": "100%",
|
|||
|
|
"_model_name": "FloatProgressModel",
|
|||
|
|
"bar_style": "success",
|
|||
|
|
"max": 821,
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": 821,
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"orientation": "horizontal",
|
|||
|
|
"min": 0,
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_c5ca8d23745f462abaa8760d96277bc7"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"7517b89025364c7484204f6b1e6842ec": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HTMLModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HTMLView",
|
|||
|
|
"style": "IPY_MODEL_1f2af56fdeb94687be042c84eaba5944",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": "",
|
|||
|
|
"_model_name": "HTMLModel",
|
|||
|
|
"placeholder": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": " 821/821 [05:33<00:00, 2.46ba/s]",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_a9ad8c6cdea84f94ba6f3e8220284a5e"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"6c95161afcdf4537a4c88d5d8f9f9677": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "ProgressStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "ProgressStyleModel",
|
|||
|
|
"description_width": "initial",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"bar_color": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"c5ca8d23745f462abaa8760d96277bc7": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"1f2af56fdeb94687be042c84eaba5944": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "DescriptionStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "DescriptionStyleModel",
|
|||
|
|
"description_width": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"a9ad8c6cdea84f94ba6f3e8220284a5e": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"6a984c7f824945eaa129f4338a41eb98": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HBoxModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HBoxView",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"_model_name": "HBoxModel",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"box_style": "",
|
|||
|
|
"layout": "IPY_MODEL_91d919d820f24a32858a93cd7f888964",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"children": [
|
|||
|
|
"IPY_MODEL_5a6ec425477742819436036bd74b90bc",
|
|||
|
|
"IPY_MODEL_ada286a2ce304344b315595cbf9a0fbd"
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"91d919d820f24a32858a93cd7f888964": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"5a6ec425477742819436036bd74b90bc": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "FloatProgressModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "ProgressView",
|
|||
|
|
"style": "IPY_MODEL_3ff688bb51134668a35c8d5d78c13f8a",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": "100%",
|
|||
|
|
"_model_name": "FloatProgressModel",
|
|||
|
|
"bar_style": "success",
|
|||
|
|
"max": 787,
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": 787,
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"orientation": "horizontal",
|
|||
|
|
"min": 0,
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_b81b0e66bd2f41349bb22710fbfde48b"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"ada286a2ce304344b315595cbf9a0fbd": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HTMLModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HTMLView",
|
|||
|
|
"style": "IPY_MODEL_27ee4d56eac14611bc43662dee11dec0",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": "",
|
|||
|
|
"_model_name": "HTMLModel",
|
|||
|
|
"placeholder": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": " 787/787 [15:30<00:00, 1.18s/ba]",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_e06a2cb41dc3443c92a8b827cf441376"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"3ff688bb51134668a35c8d5d78c13f8a": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "ProgressStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "ProgressStyleModel",
|
|||
|
|
"description_width": "initial",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"bar_color": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"b81b0e66bd2f41349bb22710fbfde48b": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"27ee4d56eac14611bc43662dee11dec0": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "DescriptionStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "DescriptionStyleModel",
|
|||
|
|
"description_width": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"e06a2cb41dc3443c92a8b827cf441376": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"f0ef7c3f87be47578aa066026f5fe551": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HBoxModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HBoxView",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"_model_name": "HBoxModel",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"box_style": "",
|
|||
|
|
"layout": "IPY_MODEL_6214637f5e324f0cb09598000707a16c",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"children": [
|
|||
|
|
"IPY_MODEL_e8f55ff4dbec42b0b797b2ae8bf481ec",
|
|||
|
|
"IPY_MODEL_2035e71033b24d04a6ce90dc93f32a05"
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"6214637f5e324f0cb09598000707a16c": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"e8f55ff4dbec42b0b797b2ae8bf481ec": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "FloatProgressModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "ProgressView",
|
|||
|
|
"style": "IPY_MODEL_cae620d3a0734790ac81d3d606513e5e",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": "100%",
|
|||
|
|
"_model_name": "FloatProgressModel",
|
|||
|
|
"bar_style": "success",
|
|||
|
|
"max": 509,
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": 509,
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"orientation": "horizontal",
|
|||
|
|
"min": 0,
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_5808ec10342f4ac98f3bc86f406d78f0"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"2035e71033b24d04a6ce90dc93f32a05": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HTMLModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HTMLView",
|
|||
|
|
"style": "IPY_MODEL_db18ae79d6a4413fbf277249e378b087",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": "",
|
|||
|
|
"_model_name": "HTMLModel",
|
|||
|
|
"placeholder": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": " 509/509 [03:23<00:00, 2.50ba/s]",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_5a231e0b34ef48bfb315278e7e4f2e91"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"cae620d3a0734790ac81d3d606513e5e": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "ProgressStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "ProgressStyleModel",
|
|||
|
|
"description_width": "initial",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"bar_color": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"5808ec10342f4ac98f3bc86f406d78f0": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"db18ae79d6a4413fbf277249e378b087": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "DescriptionStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "DescriptionStyleModel",
|
|||
|
|
"description_width": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"5a231e0b34ef48bfb315278e7e4f2e91": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"e2d5e1bb562c4b0dba40f24dd71d98a8": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HBoxModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HBoxView",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"_model_name": "HBoxModel",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"box_style": "",
|
|||
|
|
"layout": "IPY_MODEL_eee2412775964e56a4159c8fd0347ae7",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"children": [
|
|||
|
|
"IPY_MODEL_c36964b86cab4eca92ac910591f8fac5",
|
|||
|
|
"IPY_MODEL_18cee808afd748318fec88ea47c2783d"
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"eee2412775964e56a4159c8fd0347ae7": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"c36964b86cab4eca92ac910591f8fac5": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "FloatProgressModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "ProgressView",
|
|||
|
|
"style": "IPY_MODEL_e9dd0a95ab534e40b9d1624b3030b75d",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": "100%",
|
|||
|
|
"_model_name": "FloatProgressModel",
|
|||
|
|
"bar_style": "success",
|
|||
|
|
"max": 473687,
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": 473687,
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"orientation": "horizontal",
|
|||
|
|
"min": 0,
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_285168d1a05b4a549fca6df86846617e"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"18cee808afd748318fec88ea47c2783d": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "HTMLModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "HTMLView",
|
|||
|
|
"style": "IPY_MODEL_c4464235b50947aa97ec74c854e297fe",
|
|||
|
|
"_dom_classes": [],
|
|||
|
|
"description": "",
|
|||
|
|
"_model_name": "HTMLModel",
|
|||
|
|
"placeholder": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/controls",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"value": " 473687/473687 [01:40<00:00, 4730.08ex/s]",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.5.0",
|
|||
|
|
"description_tooltip": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls",
|
|||
|
|
"layout": "IPY_MODEL_cd05d34eefe0445cbb49eb902222d333"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"e9dd0a95ab534e40b9d1624b3030b75d": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "ProgressStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "ProgressStyleModel",
|
|||
|
|
"description_width": "initial",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"bar_color": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"285168d1a05b4a549fca6df86846617e": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"c4464235b50947aa97ec74c854e297fe": {
|
|||
|
|
"model_module": "@jupyter-widgets/controls",
|
|||
|
|
"model_name": "DescriptionStyleModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "StyleView",
|
|||
|
|
"_model_name": "DescriptionStyleModel",
|
|||
|
|
"description_width": "",
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"_model_module_version": "1.5.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"_model_module": "@jupyter-widgets/controls"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"cd05d34eefe0445cbb49eb902222d333": {
|
|||
|
|
"model_module": "@jupyter-widgets/base",
|
|||
|
|
"model_name": "LayoutModel",
|
|||
|
|
"state": {
|
|||
|
|
"_view_name": "LayoutView",
|
|||
|
|
"grid_template_rows": null,
|
|||
|
|
"right": null,
|
|||
|
|
"justify_content": null,
|
|||
|
|
"_view_module": "@jupyter-widgets/base",
|
|||
|
|
"overflow": null,
|
|||
|
|
"_model_module_version": "1.2.0",
|
|||
|
|
"_view_count": null,
|
|||
|
|
"flex_flow": null,
|
|||
|
|
"width": null,
|
|||
|
|
"min_width": null,
|
|||
|
|
"border": null,
|
|||
|
|
"align_items": null,
|
|||
|
|
"bottom": null,
|
|||
|
|
"_model_module": "@jupyter-widgets/base",
|
|||
|
|
"top": null,
|
|||
|
|
"grid_column": null,
|
|||
|
|
"overflow_y": null,
|
|||
|
|
"overflow_x": null,
|
|||
|
|
"grid_auto_flow": null,
|
|||
|
|
"grid_area": null,
|
|||
|
|
"grid_template_columns": null,
|
|||
|
|
"flex": null,
|
|||
|
|
"_model_name": "LayoutModel",
|
|||
|
|
"justify_items": null,
|
|||
|
|
"grid_row": null,
|
|||
|
|
"max_height": null,
|
|||
|
|
"align_content": null,
|
|||
|
|
"visibility": null,
|
|||
|
|
"align_self": null,
|
|||
|
|
"height": null,
|
|||
|
|
"min_height": null,
|
|||
|
|
"padding": null,
|
|||
|
|
"grid_auto_rows": null,
|
|||
|
|
"grid_gap": null,
|
|||
|
|
"max_width": null,
|
|||
|
|
"order": null,
|
|||
|
|
"_view_module_version": "1.2.0",
|
|||
|
|
"grid_template_areas": null,
|
|||
|
|
"object_position": null,
|
|||
|
|
"object_fit": null,
|
|||
|
|
"grid_auto_columns": null,
|
|||
|
|
"margin": null,
|
|||
|
|
"display": null,
|
|||
|
|
"left": null
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"cells": [
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "PGi1VxEmeage"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"%%capture\n",
|
|||
|
|
"\n",
|
|||
|
|
"!pip install git+https://github.com/huggingface/datasets.git\n",
|
|||
|
|
"!pip install git+https://github.com/huggingface/transformers.git\n",
|
|||
|
|
"!pip install hazm"
|
|||
|
|
],
|
|||
|
|
"execution_count": 3,
|
|||
|
|
"outputs": []
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "nTGq9PrXe69x"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"from hazm import word_tokenize\n",
|
|||
|
|
"from hazm import sent_tokenize\n",
|
|||
|
|
"import re\n",
|
|||
|
|
"import six\n",
|
|||
|
|
"\n",
|
|||
|
|
"# from normalizer import normalize\n",
|
|||
|
|
"\n",
|
|||
|
|
"persian_regex = \"0-9۰۱۲۳۴۵۶۷۸۹ءآئابتثجحخدذرزسشصضطظعغفقلمنهوپچژکگیە\\u200c\"\n",
|
|||
|
|
"\n",
|
|||
|
|
"\n",
|
|||
|
|
"def filter_by_lang_regex(text, ratio=0.7, regex=\"0-9۰۱۲۳۴۵۶۷۸۹ءآئابتثجحخدذرزسشصضطظعغفقلمنهوپچژکگیە\\u200c\"):\n",
|
|||
|
|
" candidate_text = re.sub(r\"[^\" + regex + \"]+\", \" \", six.ensure_str(text)).replace(\" \", \"\")\n",
|
|||
|
|
" text = text.replace(\" \", \"\")\n",
|
|||
|
|
"\n",
|
|||
|
|
" return True if (len(candidate_text) / len(text)) > ratio else False\n",
|
|||
|
|
"\n",
|
|||
|
|
"\n",
|
|||
|
|
"def filter_by_num_tokens(text, gt=64):\n",
|
|||
|
|
" return True if len(word_tokenize(text)) > gt else False\n",
|
|||
|
|
"\n",
|
|||
|
|
"\n",
|
|||
|
|
"def filter_by_num_sents(text, gt=2):\n",
|
|||
|
|
" return True if len(sent_tokenize(text)) > gt else False\n",
|
|||
|
|
"\n",
|
|||
|
|
"\n",
|
|||
|
|
"def normalizer(text, do_lowercase=False):\n",
|
|||
|
|
" if do_lowercase:\n",
|
|||
|
|
" text = text.lower()\n",
|
|||
|
|
"\n",
|
|||
|
|
" return text\n"
|
|||
|
|
],
|
|||
|
|
"execution_count": 5,
|
|||
|
|
"outputs": []
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "dFtMFjt1e-ab"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"import ast\n",
|
|||
|
|
"import logging\n",
|
|||
|
|
"import os\n",
|
|||
|
|
"import sys\n",
|
|||
|
|
"from dataclasses import dataclass, field\n",
|
|||
|
|
"from typing import Dict, List, Optional, Tuple\n",
|
|||
|
|
"\n",
|
|||
|
|
"from datasets import load_dataset\n",
|
|||
|
|
"from tokenizers import ByteLevelBPETokenizer\n",
|
|||
|
|
"from transformers import (\n",
|
|||
|
|
" HfArgumentParser,\n",
|
|||
|
|
")\n",
|
|||
|
|
"\n",
|
|||
|
|
"# from data_utils import (\n",
|
|||
|
|
"# filter_by_lang_regex,\n",
|
|||
|
|
"# filter_by_num_tokens,\n",
|
|||
|
|
"# filter_by_num_sents,\n",
|
|||
|
|
"# normalizer\n",
|
|||
|
|
"# )"
|
|||
|
|
],
|
|||
|
|
"execution_count": 7,
|
|||
|
|
"outputs": []
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/",
|
|||
|
|
"height": 171,
|
|||
|
|
"referenced_widgets": [
|
|||
|
|
"34decfb6324c408d84623733b3bd6ecc",
|
|||
|
|
"66c4e371a3054554901730af6ca0951a",
|
|||
|
|
"c3f8c02f6de748b5ab48d6638c7c53cd",
|
|||
|
|
"2dd99de5175746a5ab89f9fe6fb6f237",
|
|||
|
|
"f6c0e3b64c474a4ea81c7a1a91bcafc8",
|
|||
|
|
"27c231d4b970407589f7ee27d37b32c1",
|
|||
|
|
"659ce9bbb99e4ba1bd2b6ac82d65c63c",
|
|||
|
|
"ddccad359dc748c2ac9a9e374b068858"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"id": "FU6Xn131fCXy",
|
|||
|
|
"outputId": "252f2bfa-7be8-4e2e-e022-513560b6adca"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"raw_dataset = load_dataset(\n",
|
|||
|
|
" \"oscar\",\n",
|
|||
|
|
" \"unshuffled_deduplicated_fa\",\n",
|
|||
|
|
" split=\"train[:1%]\"\n",
|
|||
|
|
")\n",
|
|||
|
|
"\n",
|
|||
|
|
"raw_dataset"
|
|||
|
|
],
|
|||
|
|
"execution_count": 11,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "stream",
|
|||
|
|
"text": [
|
|||
|
|
"Downloading and preparing dataset oscar/unshuffled_deduplicated_fa (download: 9.74 GiB, generated: 37.24 GiB, post-processed: Unknown size, total: 46.98 GiB) to /root/.cache/huggingface/datasets/oscar/unshuffled_deduplicated_fa/1.0.0/84838bd49d2295f62008383b05620571535451d84545037bb94d6f3501651df2...\n"
|
|||
|
|
],
|
|||
|
|
"name": "stdout"
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"output_type": "display_data",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.jupyter.widget-view+json": {
|
|||
|
|
"model_id": "34decfb6324c408d84623733b3bd6ecc",
|
|||
|
|
"version_minor": 0,
|
|||
|
|
"version_major": 2
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"HBox(children=(FloatProgress(value=1.0, bar_style='info', max=1.0), HTML(value='')))"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"output_type": "stream",
|
|||
|
|
"text": [
|
|||
|
|
"Dataset oscar downloaded and prepared to /root/.cache/huggingface/datasets/oscar/unshuffled_deduplicated_fa/1.0.0/84838bd49d2295f62008383b05620571535451d84545037bb94d6f3501651df2. Subsequent calls will reuse this data.\n"
|
|||
|
|
],
|
|||
|
|
"name": "stdout"
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"output_type": "execute_result",
|
|||
|
|
"data": {
|
|||
|
|
"text/plain": [
|
|||
|
|
"Dataset({\n",
|
|||
|
|
" features: ['id', 'text'],\n",
|
|||
|
|
" num_rows: 820350\n",
|
|||
|
|
"})"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
},
|
|||
|
|
"execution_count": 11
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/"
|
|||
|
|
},
|
|||
|
|
"id": "r1BNAEG-fQjr",
|
|||
|
|
"outputId": "68719640-0b25-41ac-c540-0342e1d5777c"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"raw_dataset"
|
|||
|
|
],
|
|||
|
|
"execution_count": 12,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "execute_result",
|
|||
|
|
"data": {
|
|||
|
|
"text/plain": [
|
|||
|
|
"Dataset({\n",
|
|||
|
|
" features: ['id', 'text'],\n",
|
|||
|
|
" num_rows: 820350\n",
|
|||
|
|
"})"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
},
|
|||
|
|
"execution_count": 12
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/",
|
|||
|
|
"height": 213,
|
|||
|
|
"referenced_widgets": [
|
|||
|
|
"c38d088c611b4158b6135e2942b1fdf6",
|
|||
|
|
"23982da6026145ca8edb6bef10dacb27",
|
|||
|
|
"efb16a8839c64631a6e3c991298be840",
|
|||
|
|
"7517b89025364c7484204f6b1e6842ec",
|
|||
|
|
"6c95161afcdf4537a4c88d5d8f9f9677",
|
|||
|
|
"c5ca8d23745f462abaa8760d96277bc7",
|
|||
|
|
"1f2af56fdeb94687be042c84eaba5944",
|
|||
|
|
"a9ad8c6cdea84f94ba6f3e8220284a5e",
|
|||
|
|
"6a984c7f824945eaa129f4338a41eb98",
|
|||
|
|
"91d919d820f24a32858a93cd7f888964",
|
|||
|
|
"5a6ec425477742819436036bd74b90bc",
|
|||
|
|
"ada286a2ce304344b315595cbf9a0fbd",
|
|||
|
|
"3ff688bb51134668a35c8d5d78c13f8a",
|
|||
|
|
"b81b0e66bd2f41349bb22710fbfde48b",
|
|||
|
|
"27ee4d56eac14611bc43662dee11dec0",
|
|||
|
|
"e06a2cb41dc3443c92a8b827cf441376",
|
|||
|
|
"f0ef7c3f87be47578aa066026f5fe551",
|
|||
|
|
"6214637f5e324f0cb09598000707a16c",
|
|||
|
|
"e8f55ff4dbec42b0b797b2ae8bf481ec",
|
|||
|
|
"2035e71033b24d04a6ce90dc93f32a05",
|
|||
|
|
"cae620d3a0734790ac81d3d606513e5e",
|
|||
|
|
"5808ec10342f4ac98f3bc86f406d78f0",
|
|||
|
|
"db18ae79d6a4413fbf277249e378b087",
|
|||
|
|
"5a231e0b34ef48bfb315278e7e4f2e91",
|
|||
|
|
"e2d5e1bb562c4b0dba40f24dd71d98a8",
|
|||
|
|
"eee2412775964e56a4159c8fd0347ae7",
|
|||
|
|
"c36964b86cab4eca92ac910591f8fac5",
|
|||
|
|
"18cee808afd748318fec88ea47c2783d",
|
|||
|
|
"e9dd0a95ab534e40b9d1624b3030b75d",
|
|||
|
|
"285168d1a05b4a549fca6df86846617e",
|
|||
|
|
"c4464235b50947aa97ec74c854e297fe",
|
|||
|
|
"cd05d34eefe0445cbb49eb902222d333"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"id": "c3aO-qU3lQtU",
|
|||
|
|
"outputId": "74035e28-55ff-4dcd-b840-92254c3614e0"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"dataset = raw_dataset.filter(lambda example: filter_by_lang_regex(example[\"text\"], ratio=0.75))\n",
|
|||
|
|
"dataset = dataset.filter(lambda example: filter_by_num_tokens(example[\"text\"], gt=128))\n",
|
|||
|
|
"dataset = dataset.filter(lambda example: filter_by_num_sents(example[\"text\"], gt=2))\n",
|
|||
|
|
"dataset = dataset.map(normalizer)"
|
|||
|
|
],
|
|||
|
|
"execution_count": 13,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "display_data",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.jupyter.widget-view+json": {
|
|||
|
|
"model_id": "c38d088c611b4158b6135e2942b1fdf6",
|
|||
|
|
"version_minor": 0,
|
|||
|
|
"version_major": 2
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"HBox(children=(FloatProgress(value=0.0, max=821.0), HTML(value='')))"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"output_type": "stream",
|
|||
|
|
"text": [
|
|||
|
|
"\n"
|
|||
|
|
],
|
|||
|
|
"name": "stdout"
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"output_type": "display_data",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.jupyter.widget-view+json": {
|
|||
|
|
"model_id": "6a984c7f824945eaa129f4338a41eb98",
|
|||
|
|
"version_minor": 0,
|
|||
|
|
"version_major": 2
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"HBox(children=(FloatProgress(value=0.0, max=787.0), HTML(value='')))"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"output_type": "stream",
|
|||
|
|
"text": [
|
|||
|
|
"\n"
|
|||
|
|
],
|
|||
|
|
"name": "stdout"
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"output_type": "display_data",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.jupyter.widget-view+json": {
|
|||
|
|
"model_id": "f0ef7c3f87be47578aa066026f5fe551",
|
|||
|
|
"version_minor": 0,
|
|||
|
|
"version_major": 2
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"HBox(children=(FloatProgress(value=0.0, max=509.0), HTML(value='')))"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"output_type": "stream",
|
|||
|
|
"text": [
|
|||
|
|
"\n"
|
|||
|
|
],
|
|||
|
|
"name": "stdout"
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"output_type": "display_data",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.jupyter.widget-view+json": {
|
|||
|
|
"model_id": "e2d5e1bb562c4b0dba40f24dd71d98a8",
|
|||
|
|
"version_minor": 0,
|
|||
|
|
"version_major": 2
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"HBox(children=(FloatProgress(value=0.0, max=473687.0), HTML(value='')))"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"output_type": "stream",
|
|||
|
|
"text": [
|
|||
|
|
"\n"
|
|||
|
|
],
|
|||
|
|
"name": "stdout"
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/"
|
|||
|
|
},
|
|||
|
|
"id": "LbXtEZXos76B",
|
|||
|
|
"outputId": "b9ddfc61-ee18-426c-de65-74fb5979f62a"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"dataset"
|
|||
|
|
],
|
|||
|
|
"execution_count": 14,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "execute_result",
|
|||
|
|
"data": {
|
|||
|
|
"text/plain": [
|
|||
|
|
"Dataset({\n",
|
|||
|
|
" features: ['id', 'text'],\n",
|
|||
|
|
" num_rows: 473687\n",
|
|||
|
|
"})"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
},
|
|||
|
|
"execution_count": 14
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/",
|
|||
|
|
"height": 137
|
|||
|
|
},
|
|||
|
|
"id": "1YNhYq4nyEXj",
|
|||
|
|
"outputId": "37f1ddff-9b80-4b7e-8edc-76eac80e28b7"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"dataset[1][\"text\"]"
|
|||
|
|
],
|
|||
|
|
"execution_count": 18,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "execute_result",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.google.colaboratory.intrinsic+json": {
|
|||
|
|
"type": "string"
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"'قـــــــــــــــــرار بود با هم کنـــــــــــــار بیایم نه اینکه از کنــــــــــــار هم رد بشیم...!!!\\nاگر روزی دلت لبریز غم بود گذارت بر مزار کهنه ام بود بگو این بی نصیب خفته در خاک یه روزی عاشق و دیوانه ام بود...\\nخبر به دورترین نقطه جهان برسد نخواست او به من خسته ، بی کمان برسد شکنجه بیشتر از این که پیش چشم خودت کسی که سهم تو باشد به دیگران برسد خدا کند ، که نفرین نمی کنم نکند به او که عاشق او بوده ام زیان برسد خدا کند فقط این عشق از سرم برود خدا کند که فقط زود آن زمان برسد...\\nترسم که شبی از غم ناگه بمیرم در بستر دلسوز با آه بمیرم آن لحظه آخر که اجل گفت بمیر ای کاش تو را بینم و آنگاه بمیرم\\nخوشبختی را دیروز به حراج گذاشتند ولی حیف که من زاده ی امروزم... خدایا جهنم فرداست پس چرا امروز می سوزم ؟!!\\nدر کرانه محبت رنگ چشمانت را دیدم در عمق بی کران آسمان رخ تو را دیدم دیدنت آرزوی من شده آن را از من دریغ مکن\\nکوه باشی صخره هایت می شوم... اشک باشی دیدگانت می شوم... رود باشی چشمه سارت می شوم... دوست باشی دوستدارت می شوم...!'"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
},
|
|||
|
|
"execution_count": 18
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/",
|
|||
|
|
"height": 137
|
|||
|
|
},
|
|||
|
|
"id": "bF8ReR0VyE6u",
|
|||
|
|
"outputId": "f03eb513-00b1-4f9d-fde4-2ed27d418754"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"dataset[1][\"text\"]"
|
|||
|
|
],
|
|||
|
|
"execution_count": 19,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "execute_result",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.google.colaboratory.intrinsic+json": {
|
|||
|
|
"type": "string"
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"'قـــــــــــــــــرار بود با هم کنـــــــــــــار بیایم نه اینکه از کنــــــــــــار هم رد بشیم...!!!\\nاگر روزی دلت لبریز غم بود گذارت بر مزار کهنه ام بود بگو این بی نصیب خفته در خاک یه روزی عاشق و دیوانه ام بود...\\nخبر به دورترین نقطه جهان برسد نخواست او به من خسته ، بی کمان برسد شکنجه بیشتر از این که پیش چشم خودت کسی که سهم تو باشد به دیگران برسد خدا کند ، که نفرین نمی کنم نکند به او که عاشق او بوده ام زیان برسد خدا کند فقط این عشق از سرم برود خدا کند که فقط زود آن زمان برسد...\\nترسم که شبی از غم ناگه بمیرم در بستر دلسوز با آه بمیرم آن لحظه آخر که اجل گفت بمیر ای کاش تو را بینم و آنگاه بمیرم\\nخوشبختی را دیروز به حراج گذاشتند ولی حیف که من زاده ی امروزم... خدایا جهنم فرداست پس چرا امروز می سوزم ؟!!\\nدر کرانه محبت رنگ چشمانت را دیدم در عمق بی کران آسمان رخ تو را دیدم دیدنت آرزوی من شده آن را از من دریغ مکن\\nکوه باشی صخره هایت می شوم... اشک باشی دیدگانت می شوم... رود باشی چشمه سارت می شوم... دوست باشی دوستدارت می شوم...!'"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
},
|
|||
|
|
"execution_count": 19
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/",
|
|||
|
|
"height": 154
|
|||
|
|
},
|
|||
|
|
"id": "e9PeXs9us_J1",
|
|||
|
|
"outputId": "c8bcdc3d-0cb7-4124-c183-3920ee92e1e5"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"dataset[2][\"text\"]"
|
|||
|
|
],
|
|||
|
|
"execution_count": 17,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "execute_result",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.google.colaboratory.intrinsic+json": {
|
|||
|
|
"type": "string"
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"'«یكی از كهن ترین و سنتی ترین روش های انسان برای انتقال معرفت به نسل های بعد، قصه ها و حكایات بوده است. قصه، ناب ترین و خالص ترین بخش ادبیات است؛ چرا كه ما را به دورانی پیش از پیدایش تفاسیر و تعابیر امروز مان می برد. قصه ها شادند، سرگرم كننده اند، نمایشی اند، اما فراتر از همه ، معرفت را به شكلی دلپذیر منتقل می كنند.»\\nیک بام و دو هوا خودکشی کن!!/طنز خران آزاد و... خوبی خوبی است! نگرانی از اتهام ناحق! آدمایی از جنس بلور چه حاجتی به قهرمان؟! و عدالت اجرا شد!! پرنده ات را آزاد کن! برخورد پیامبر با زنِ خواننده من مسئول کره ها هستم!!! شایعه مرگ شاه! بالا نرو، بسیار خطرناک است!! .... همچنان در منزل اول اسیر! \"کلام امید\" لیست آخرین پستها\\nحكایت و داستان پرتال فرهنگی مذهبی لاهوت مشاوره و روانشناسی(مهدی معتقد) آنتی صهیونیسم نخود به اندیشان پیام امیر(ع) پیام های پیامبر(ص) وب نامه مدارا حکایات حکیمانه آیا به از این نمی توان بود؟ وب باران شفیعی مطهر همه پیوندها\\nقصه های شهرهرت(11) سخنان كوتاه حكیمانه(210) سروده های حكیمانه(165) طنزهای حكیمانه(394) حكایات حكیمانه(806)'"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
},
|
|||
|
|
"execution_count": 17
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/",
|
|||
|
|
"height": 154
|
|||
|
|
},
|
|||
|
|
"id": "FkOymCKvx71W",
|
|||
|
|
"outputId": "9594adf9-d110-42d1-c913-c89643dd31e7"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"dataset[3][\"text\"]"
|
|||
|
|
],
|
|||
|
|
"execution_count": 20,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "execute_result",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.google.colaboratory.intrinsic+json": {
|
|||
|
|
"type": "string"
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"'حرکت اصلاح طلبی به معنای یک جریان رفورمیستی، در داخل حاکمیت کنونی، محصول یک پروسۀ کشمکش طولانی درون حکومتی است که ریشه های آن به سالهای بعد از پایان جنگ ایران و عراق و حوادث قبل از 2 خرداد 1376 برمیگردد. این جریان آميزه ای از نيروهای اصلاح طلب مذهبی و سرخورده از انحصار طلبی های جناح تندرو و محافظه کار و بخشی از مردم معترض برخاسته از طبقۀ متوسط جدیداست که به شعارهای رهبران این طیف باور داشته و در رکاب آن قدم برمی دارند. اصلاح طلبان درون حکومتی می کوشند نشان دهند که آنان نه تنها خواهان يک حکومت دموکراتيک و پای بند به اصول مدرن و دموکراتیک و اعلاميۀ جهانی حقوق بشر هستند بلکه درصدد اثبات این مقوله نیز می باشند که تحقق دموکراسی در شکل اسلامی آن ممکن و امکانپذیر است. این حرکت با پذیرفتن چهارچوب نظام جمهوری اسلامی و وفاداری به قانون اساسی آن در پی اصلاحاتی در درون نظام و در پی قبضۀ دوبارۀ قدرت سیاسی است.\\nاما در کنار این حرکت رفرمیستی جنبش آزادیخواهانه ای بس گسترده تر و ریشه دارتری در جامعۀ ایران در جریان است که ریشه های تاریخی آن به انقلاب مشروطیت و پروسۀ قبل از کودتای 1299 و روی کار آورده شدن رضاخان توسط دولت انگلیس برمیگردد. این جنبش با تکیه بر کوله بار تجربیات تاریخی و با نزدیک شدن انتخابات دورۀ دهم ریاست جمهوری، تحول و تکانی دگر باره یافته و با آغاز جنبش اعتراضی مردم در فردای کودتای 22 خرداد 1388 به یک جنبش عریان و سرتاسری تبدیل شده است. آنچه در شرایط کنونی خصلت ویژه به این جنبش توده ای داده و آنرا از جریان رفرمیستی درون حکومتی جدا ساخته همانا ارادۀ میلیونی و مستقل آن و فاصله گیری تدریجی از شعارها و مطالبات محدود شده به چهارچوب نظام جمهوری اسلامی است. این جنبش بلحاظ تاریخی جنبشی مدرن و سکولار است که خواهان جدائی دین از دولت (ضد استبداد) و تأمین حقوق مدنی و شهروندی (دموکراسی خواه) است. این جنبش در ماهیت و پیوستگی دموکراتیک خود هم چنین خواهان برابری حقوق زنان با مردان (فمینیست)، تحقق حقوق ملی ملل ایران (تمرکز زدا) و تقسیم عادلانۀ نعم اجتماعی جامعه (عدالت خواه) است.\\nبا نگاهی گذرا به شعارهای جنبش مردمی در تظاهرات خیابانی و بیانات رهبران حرکت اصلاح طلبان مذهبی روشن می شود که نقطۀ تلاقی مطالبات هر دو جریان در رعایت حقوق مدنی و شهروندی و حاکمیت مردم کلید خورده است. این نقطه، آن کانون اصلی و مرکزی است که اکثریت نیروهای حرکت اصلاح طلبان درون حکومتی و کلیۀ آحاد جنبش اعتراضی بر روی آن اتفاق نظر داشته و مضمون آنرا بی وقفه در شعارهای خود انعکاس می دهند. لیکن خطاست که ما برنامه و یا مطالبات حداقل و حداکثر این دو جریان و یا درک آنان را در رابطه با مقوله های دمو<D985>
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
},
|
|||
|
|
"execution_count": 20
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/",
|
|||
|
|
"height": 103
|
|||
|
|
},
|
|||
|
|
"id": "MROY_AUOyJzk",
|
|||
|
|
"outputId": "1ac309f3-2388-45dc-af9f-84ee31a245f8"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"dataset[10][\"text\"]"
|
|||
|
|
],
|
|||
|
|
"execution_count": 21,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "execute_result",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.google.colaboratory.intrinsic+json": {
|
|||
|
|
"type": "string"
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"'آینه نیوز: قطعه موسیقی «ای دریغا» در آستانه توزیع اولین قسمت از فصل دوم سریال «شهرزاد» منتشر شد. این اثر که با صدای محسن چاوشی و همراهی آواز سینا سرلک، دوست و همراه قدیمی چاوشی همراه است، «ای دریغا» نام دارد که حسین صفا آن را سروده و محسن چاوشی آهنگسازی کرده و شهاب اکبری تنظیم آن را به عهده داشته است. در «ای دریغا»، احسان نی زن به عنوان نوازنده کمانچه و مجتبی تقی پور به عنوان نوازنده گیتار همکاری داشته اند.\\nدر فصل اول سریال شهرزاد تولید و پخش قطعات متعدد موسیقی در کنار توزیع سریال مورد توجه مخاطبان قرا گرفته بود و حالا در فصل دوم نیز همین رویه توسط عوامل تولید «شهرزاد» مورد نظر قرار گرفته است.'"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
},
|
|||
|
|
"execution_count": 21
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/",
|
|||
|
|
"height": 154
|
|||
|
|
},
|
|||
|
|
"id": "_fdnSZoKyN2T",
|
|||
|
|
"outputId": "39fcff51-00a4-4ad2-bdb5-85511cd46eb4"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"dataset[20][\"text\"]"
|
|||
|
|
],
|
|||
|
|
"execution_count": 22,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "execute_result",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.google.colaboratory.intrinsic+json": {
|
|||
|
|
"type": "string"
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"'امتیاز شما به این کانالوبسایت پردیس ایرانیان آموزش دوره های تخصصی ماساژ زیر نظر مربی فنی و حرفه ای عنوان سایت : پردیس ایرانیان لینک سایت : http://pardisiranian.ir/ آی دی اینستاگرام : pardisiranian.info@ لینک اینستاگرام: […]\\nLeave a commentپیج اینستاگرام, کانال برنزی, لینک سایتآموزش ماساژ زیر نظر فنی حرفه ای, آموزش ماساژ فنی حرفه ای, آموزش ماساژ فنی حرفه ای تهران, دوره ماساژ فدراسیون پزشکی ورزشی, فدراسیون بین المللی ماساژ ایران, ماساژ آروماتراپی, ماساژ تخصصی, ماساژ سوئدی, ماساژ لیفتینگ صورت, مربی آموزش ماساژ\\t\\nبایگانی کانالها گزینش ماه اکتبر 2018 سپتامبر 2018 آگوست 2018 جولای 2018 ژوئن 2018 می 2018 آوریل 2018 فوریه 2018\\nکانال ها بر اساس موضوع گزینش دسته پیج اینستاگرام ربات پیام رسان بله سایر کانال ها کانال آموزشی کانال آی گپ کانال اجتماعی-سیاسی-فرهنگی کانال ایتا کانال برنزی کانال بله کانال بیسفون کانال تجاری کانال تفریحی کانال تلگرام کانال خبری کانال رسمی کانال سروش کانال سلام کانال شخصی کانال گپ کانال محلی کانال نقره ای کانال های طلایی کانال ویسپی لینک سایت مطالب سایت\\nکانال تبلیغاتی \"باکس آگهی\" در پیام رسان بله عنوان کانال : کانال تبلیغاتی \"باکس آگهی\" در پیام رسان بله نام...\\nعنوان سایت:کسب در آمد از طریق گوشی همراه و اپلیکیشن ۷۰۳۰ لینک سایت : https://7030.ir/r/sayed97 توضیحات کامل کانال:سامانه «هفتاد سی»...\\nدکوراسیون داخلی سالن های زیبایی نام پیام رسان: تلگرام و اینستاگرام لینک کانال تلگرام : https://t.me/designer_ir لینک صفحه اینستاگرام :...\\nنصب -تعمیر و فروش انواع کولرگازی عنوان کانال : نصب -تعمیر و فروش انواع کولرگازی نام پیام رسان: تلگرام لینک...\\nکانال بازیگر ایرانی خانم شبنم قلی خانی عنوان کانال : کانال بازیگر ایرانی خانم شبنم قلی خانی نام پیام رسان:...\\nتارنمای جامع ثبت کانال ;کانال سروش,کانال تلگرام,کانال بیسفون, کانال گپ, کانال ویسپی, کانال بیسفون پلاس, کانال ایتا, کانال آی گپ, کانال سلام, پیج اینستاگرام,کانال بله,گروه سروش,گروه تلگرامی,گروه بیسفون,گروه گپ,گروه آی گپ,گروه ایتا,گروه سلام,گروه بله,تبلیغات کانال تلگرام,تبلیغات کانال بیسفون,تبلیغات کانال گپ,تبلیغات کانال ویسپی,تبلیغات کانال بیسفون,تبلیغات کانال ایتا,تبلیغات کانال آی گپ,تبلیغات کانال سلام,تبلیغات کانال بله,گروه تبلیغاتی پیام رسان سروش,گروه تبلیغاتی تلگرام,گروه تبلیغاتی بیسفون,گروه تبلیغاتی گپ,گروه تبلیغاتی ویسپی,گروه تبلیغاتی آی گپ,گروه تبلیغاتی سلام,گروه تبلیغاتی بله,افزایش مببر سروش,خرید ممبر سروش,حرید ممبر تلگرام,افزایش ممبر تلگرام,خرید ممبر بیسفون,افزایش ممبر بیسفون,خرید ممبر ایتا,افزایش ممبر ایتا,خرید ممبرآی
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
},
|
|||
|
|
"execution_count": 22
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/",
|
|||
|
|
"height": 154
|
|||
|
|
},
|
|||
|
|
"id": "DD70wJIGyVoC",
|
|||
|
|
"outputId": "60bbe9bd-2063-4a46-b268-a12bc4ee3d26"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"dataset[30][\"text\"]"
|
|||
|
|
],
|
|||
|
|
"execution_count": 23,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "execute_result",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.google.colaboratory.intrinsic+json": {
|
|||
|
|
"type": "string"
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"'سیستم پرده برقی شاید در نگاه اول عنصر پرکاربردی درخانه هوشمند به نظر نرسد. اما با کمی تامل در می یابیم که با کمک این سیستم میتوان براحتی انواع مدل های پرده برقی، کرکره و سایبان را با روش های مختلف کنترل نماییم. به کمک این سیستم می توانید با استفاده ازکلیدهای هوشمند، یا از روی صفحه نمایش لمسی منزلتان و یا به وسیله ی اپلیکیشن نصب شده بر روی گوشی و تبلت خود در سناریو های متفاوت، از راه دور میزان نور وارد شده به منزلتان را تنظیم نموده و آنها را کنترل نمایید. در سیستم هوشمند، پرده برقی می تواند در صورت نیاز کاربر، بصورت اتوماتیک در زمان های مختلف و یا تحت عواملی همچون تمایز شدت نور داخل و خارج ساختمان و یا شدت گرمای محیط باز و بسته شوند بدون آنکه نیاز به صرف وقت و انرژی خاصی جهت مدیریت وضعیت پرده ها باشد.\\nطیف گسترده ای از انواع پرده های موجود در بازار قابلیت اجرا در سیستم هوشمند را دارند. از جمله، پرده های رول، پرده های از کنار جمع شو، پرده های بالارو با امکان ایجاد سایه روشن. تنها تفاوت در نوع موتورهای برقی به کار رفته در این سیستم می باشد. برای مثال در پرده های رولی به موتوری احتیاج داریم که پرده ها را بالا و پایین ببرد، و بر روی لوله ی اصلی پرده جمع نماید. اما در سیستم پرده های از کنار بازشو، موتور پرده برقی در کنار ریل نصب می شود وبا فرمان به آن پرده باز یا بسته می شود. نوع دیگری از پرده ها هم وجود دارند که علاوه بر باز و بسته شدن، جهت تنظیم نور ورودی استفاده می شوند. بنابراین سیستم هوشمند هیچ گونه محدودیتی در انتخاب پرده ی برقی مناسب برای منزلتان به شما تحمیل نمی کند و شما می توانید براحتی با توجه به دیزاین داخلی خانه ی خود،گزینه ی دلخواهتان را انتخاب نمایید.\\nسیستم هوشمند را می توانید طوری تنظیم کنید که هنگام ورود شما به منزل وقتی کارت مخصوص را روی دستگاه کارتخوان کشیدید، همزمان با خاموش کردن دزدگیر و بازکردن درب منزل و فعال کردن روشنایی اتوماتیک در تمام خانه، پرده های برقی منزل شما نیز بصورت اتوماتیک باز شوند و یا هنگام خروج از منزل بسته شوند. کنترل از طریق ریموت، تلفن و موبایل نیز مانندکنترل سایر تجهیزات در مورد پرده های برقی هم امکان پذیر است. استفاده از چوب پرده های برقی هیچ محدودیتی در انتخاب نوع پرده ها ایجاد نمی کند. پرده های پارچه ای، لوردراپه، بالارو و یا کناررو هیچکدام در این زمینه محدودیتی ندارند و فقط کافی است موتور مناسب را انتخاب کنید. اغلب در مورد پرده های لوکس، قسمت زیرین پرده که در پشت پرده اصلی و برای جلوگیری از تابش مستقیم آفتاب نصب می شوند برای کنترل مناسب ترند . با باز یا بسته کردن این پرده عملاً می توانید میزان تابش آف
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
},
|
|||
|
|
"execution_count": 23
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/",
|
|||
|
|
"height": 154
|
|||
|
|
},
|
|||
|
|
"id": "SR_jQ5FRyZQy",
|
|||
|
|
"outputId": "148b3460-d502-4237-fc43-a1cbd751a46f"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"dataset[200][\"text\"]"
|
|||
|
|
],
|
|||
|
|
"execution_count": 24,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "execute_result",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.google.colaboratory.intrinsic+json": {
|
|||
|
|
"type": "string"
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"'کمیسیون مستقل انتخابات افغانستان می گوید که نتیجه ابتدایی دور دوم انتخابات ریاست جمهوری این کشور چهارشنبه یازدهم سرطان/تیر اعلام خواهد شد.\\nنور محمد نور سخنگوی این کمیسیون به بی\\u200cبی\\u200cسی گفت که کمیسیون مستقل انتخابات آمادگی های لازم برای اعلام نتیجه انتخابات را دارد و بر اساس جدول زمانی تعیین شده پیش خواهد رفت.\\nساعاتی پس از درگذشت محمد قسیم فهیم معاون اول رئیس جمهوری افغانستان (جانشین احمدشاه مسعود رهبر پیشین جبهه مقاوت علیه طالبان) بحث\\u200cها در مورد تاثیر نبود آقای فهیم در انتخابات ریاست جمهوری افغانستان بالا گرفته\\u200cاست. تا برگزاری انتخابات ریاست جمهوری ۱۳۹۳ افغانستان کمتر از یک ماه باقی مانده\\u200cاست. آقای فهیم در این انتخابات صراحتا اعلام نکرده بود که از کدام نامزد حمایت می\\u200cکند اما ستاد انتخاباتی عبدالله عبدالله بیشتر از یکبار اعلام کرد که مارشال فهیم در این انتخابات از آقای عبدالله حمایت می\\u200cکند.\\nآقای فهیم و سخنگویانش هیچگاهی این ادعای ستاد انتخاباتی داکتر عبدالله را تایید یا رد نکردند. محی\\u200cالدین مهدی، عضو مجلس نمایندگان افغانستان و از اعضای پیشین حزب جمعیت اسلامی افغانستان می\\u200cگوید آقای فهیم در هفته\\u200cهای اخیر با تمامی نامزدهای مطرح انتخابات ریاست جمهوری افغانستان دیدار داشت و نامزدان نیز به او مراجعه می\\u200cکردند و در موارد مختلف از او مشوره می\\u200cگرفتند.\\nآقای مهدی می\\u200cگوید:\"با توجه به اینکه مارشال فهیم خودش در هیچ تکت انتخاباتی عضویت نداشت و علنا هم از هیچ نامزدی حمایت نکرده بود، برداشت من از موضع او این بود که مارشال فهیم تصور می\\u200cکرد که اگر خدا ناخواسته انتخابات به چالش کشیده شود و در برگزاری مرحله دوم انتخابات تاخیر یا تعلل پیش بیاید یا در پذیرش نتیجه انتخابات بحرانی به وقوع بپیوندد، فهیم خان به حیث یک شخصیت کلیدی و اثرگذار در آن مرحله تاثیر خود را بر جا می\\u200cگذاشت. یعنی در تاسیس یک دولت اتحاد ملی، نقش ایفا می\\u200cکرد.\" آقای مهدی می\\u200cگوید آقای فهیم می\\u200cتوانست نقش مهمی در برگزاری انتخابات شفاف ایفا کند؛ زیرا به نظر او با توجه به نگرانی\\u200cهای که در مورد کمیسیون\\u200cهای انتخابات وجود دارد، \"در نبود یک نیروی به اصطلاح بازدارنده، اصلاح طلب و طرفدار انتخابات شفاف در داخل حکومت، بدون شک این نگرانی\\u200cها قوت بیشتر می\\u200cگیرد.\"\\nکیرا نایتلی و سلما هایک از ستاره های معروف سینمای هالیوود با ارسال نامه\\u200cای به دیوید کامرون نخست وزیر بریتانیا خواهان حمایت از حقوق زنان در افغانستان شده اند. آنها در نامه خود از نخست وزیر بریتانیا خواسته اند که او باید اطمینان حاصل کند که پس از خروج نیروهای خارجی
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
},
|
|||
|
|
"execution_count": 24
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/",
|
|||
|
|
"height": 154
|
|||
|
|
},
|
|||
|
|
"id": "KkNTRx96ybUK",
|
|||
|
|
"outputId": "df7594af-32e4-4f1c-e3b0-3d7155f9dd6f"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"dataset[2000][\"text\"]"
|
|||
|
|
],
|
|||
|
|
"execution_count": 25,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "execute_result",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.google.colaboratory.intrinsic+json": {
|
|||
|
|
"type": "string"
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"'مناقصه با عنوان واگذاری کف پوش معابر و با کد هزاره 795072 در تاریخ پنجشنبه، 8 مرداد 1394 در سایت ارتباط گستران هزاره منتشر شده و مهلت شرکت در آن تا تاریخ 1394/05/19 می باشد. این آگهی مربوط به استان تهران بوده و در دسته بندی (های) سایر مناقصه های راهسازی، سایر مناقصه های ساختمان انتشار یافته است.\\nمبلغ سپرده به میزان 100.000.000 ریال - جهت دریافت اسناد با ارائه معرفی نامه معتبر و تصویر رتبه بندی معتبر - جهت دریافت اسناد معرفی نامه معتبر(بهمراه کارت شناسایی ملی) و اصل فیش واریزی بمبلغ 200.000 ریال به حساب شماره 100790829443 بانک شهر بنام شهرداری ملارد- هزینه آگهی به عهده برنده می باشد\\nکلمات کلیدی: مناقصه های استان تهران , مناقصه های سایر مناقصه های راهسازی , مناقصه های سایر مناقصه های ساختمان , مناقصه های شهرداری ملارد , مناقصات , مزایده ها , استعلام ها , استعلام های آنلاین , سایت مناقصات , اسناد مناقصه\\nارتباط گستران هزاره اولین مرکز تخصصی جمع آوری و اطلاع رسانی آگهی های تجاری مناقصه، مزایده و استعلام بها در کشور دارای گواهی رتبه بندی و احراز صلاحیت از شورای عالی انفورماتیک کشور و مجوز نشر دیجیتال از وزارت فرهنگ و ارشاد اسلامی\\n© تمامی حقوق این وبسایت متعلق به شرکت ارتباط گستران هزاره می باشد. هر گونه استفاده از محتوای این سایت بدون اجازه این شرکت غیر مجاز بوده و پیگرد قانونی دارد.'"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
},
|
|||
|
|
"execution_count": 25
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"colab": {
|
|||
|
|
"base_uri": "https://localhost:8080/",
|
|||
|
|
"height": 154
|
|||
|
|
},
|
|||
|
|
"id": "Co4T9RpHyfKh",
|
|||
|
|
"outputId": "d4f7924c-5f08-4308-dfb4-0d077e6d0623"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
"dataset[500][\"text\"]"
|
|||
|
|
],
|
|||
|
|
"execution_count": 26,
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"output_type": "execute_result",
|
|||
|
|
"data": {
|
|||
|
|
"application/vnd.google.colaboratory.intrinsic+json": {
|
|||
|
|
"type": "string"
|
|||
|
|
},
|
|||
|
|
"text/plain": [
|
|||
|
|
"'برای خرید فقط و فقط از سایت اصلی شرکت اقدام فرمایید. شرکت جیشیر جز در سایت رسمی که تبلیغاتش را در سایت میبینید ، هیچ سایت دیگری ندارد\\nدر صورتی که برای اولین بار از این سایت بازدید می کنید, لازم است تا راهنمای سایت را مطالعه فرمایید . در صورتی که هنوز عضو نشده اید برای ارسال مطالب , دانلود فایل ها, دسترسی به انجمن های ویژه کاربران و ...عضو شده و در سایت ثبت نام کنید . با کلیک بر روی ثبت نام در مدت کوتاهی عضو سایت شده و از مطالب و امکانات سایت بهره مند شوید .\\nسایت ماهواره مای کسری سایت پلاست سایت ماهواره پلاست انجمن جیشیر بازکردن کانالهای قفل شده بازکردن کانالهای کارتی ماهواره خريد شيرينگ هوايي تمدید اکانت هوایی و اینترنتی خرید شیرینگ هوایی و اینترنتی گلوبال خرید اکانت هوایی ماهواره فروش اکانت جیشیر خرید اکانت جیشیر خرید اکانت gshare تمدید اکانت جیشیر فروش اکانت gshare خرید شیرینگ هوایی و اینترنتی ای ستار istar خرید شیرینگ هوایی و اینترنتی رسیور فروش شیرینگ اسکار ومدیااستار تمدید شیرینگ هوایی و اینترنتی تمدید اکانت شیرینگ هوایی و اینترنتی اسکار خریدد شیرینگ رسیور وماهواره تمدید شیرینگ هوایی استارمکس تمدید و خرید شیرینگ هوایی واینترنتی استارست فروش اکانت اینترنتی و هوایی خرید شیرینگ استارمکس 100 تمدید شیرینگ هوایی 8800 تمدید شیرینگ هوایی و اینترنتی ایکلاس خرید اکانت رسیور استارست .ایکلاس تمديد شيرينگ هوايي و اينترنتي رسيور خريد شيرينگ هوايي و اينترنتي رسيور خريد اکانت هوايي و اينترنتي رسيور تمديد اکانت هوايي و اينترنتي رسيور تمديد شيرينگ هوايي و اينترنتي استارمکس فروش شيرينگ هوايي و اينترنتي استارست تمديد شيرينگ هوايي و اينترنتي استاريکس تمديد شيرينگ هوايي و اينترنتي مديااستار باز کردن کانالهاي بين اسپرت باز کردن کانالهاي قفل شده باز کردن کانالهاي کارتي خريد اکانت هوايي و اينترنتي استارست تمديد اکانت هوايي و اينترنتي استارست تمديد شيرينگ هوايي و اينترنتي استارست فروش شيرينگ هوايي و اينترنتي استارمکس خريد اکانت هوايي و اينترنتي استارمکس تمديد اکانت هوايي و اينترنتي استارمکس\\nانجمن ماهواره رسیور,فرکانس جدید ,لیست کانال اماده ,سافتکم جدید,خرید ایپی تیوی,خرید iptv,تمدید شیرنگ هوایی ,تمدید شیرینگ اینترنتی,خرید سی سی کم ,خرید سیسیکم,خرید جیشیر,خرید cccam,خرید اکانت استارمکس,فروش سیسیکم,تمدید شیرینگ هوایی,ایکلاس,خرید انلاین سیسیکم\\nمرجع تخصصی مای کسرا در سال 1391 تاسیس شده است و افتخار میکند که تا کنون توانسته به نحو احسن جدید ترین آموزش ها و نرم افزارها را برای نصابان میهن عزیزمان ایران با این همه مشقت و سختی که هست به صورت رایگان به ار<D8A7>
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
"metadata": {
|
|||
|
|
"tags": []
|
|||
|
|
},
|
|||
|
|
"execution_count": 26
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"metadata": {
|
|||
|
|
"id": "PeHNtVtpymCh"
|
|||
|
|
},
|
|||
|
|
"source": [
|
|||
|
|
""
|
|||
|
|
],
|
|||
|
|
"execution_count": null,
|
|||
|
|
"outputs": []
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
}
|