0303-klue-ml-ensemble-cv-input.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "🌱 인프런 📚 모두의 한국어 텍스트 분석과 자연어처리 with 파이썬 🐍 https://inf.run/FX4TP\n",
    "\n",
    "\n",
    "[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/corazzon/python-text-analysis/blob/main/0303-klue-ml-ensemble-cv-input.ipynb)\n",
    "\n",
    "\n",
    "## 연합뉴스 타이틀 주제 분류\n",
    "* 데이터셋 출처 : \n",
    "    * [뉴스 토픽 분류 AI 경진대회 - DACON](https://dacon.io/competitions/official/235747/overview/description)\n",
    "\n",
    "## 기초 분류 모델 만들기\n",
    "\n",
    "* 데이터 로드\n",
    "* 데이터 전처리\n",
    "* 단어 벡터화(BOW, TF-IDF)\n",
    "* 분류기 설정하기\n",
    "* 분류기로 학습시키기\n",
    "* 학습의 정확도 보기\n",
    "* 테스트 데이터 예측하기\n",
    "* 실제 데이터와 예측결과의 차이를 보기"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 라이브러리 로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 데이터 분석을 위한 pandas, 수치계산을 위한 numpy, 시각화를 위한 seaborn, matplotlib 을 로드합니다.\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "import seaborn as sns\n",
    "import matplotlib.pyplot as plt"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 시각화를 위한 폰트 설정"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "import koreanize_matplotlib"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<Axes: title={'center': '한글'}>"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAa4AAACNCAYAAADvup62AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjcuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/bCgiHAAAACXBIWXMAAA9hAAAPYQGoP6dpAAAgMklEQVR4nO3deVxU9f4/8NcsMAM4A8kmCC6Esq+aW65pqZhbi1nKvVqmGYnevH67mlfTq9lPy19x08S8dX8/aeOX2WKGS5hrWgmaYqCIJIssgsDAMPvn9wcysjMIM+cceD8fj3kgZz4z854PyGvO+XzO54gYYwyEEEKIQIi5LoAQQgjpCAouQgghgkLBRQghRFAouAghhAgKBRchhBBBoeAihBAiKBRchBBCBIWCixBCiKBQcBFCCBEUCi5CrESpVEIkEplvYrEYlZWV5vtPnTqFwMDAZo+Li4tr9LiWbk5OTjhy5Igt3w4hvEHBRYiVFBcXQ6VSmW/V1dVwdnY236/RaKDRaJo97v3334der2/zNnbsWGRkZNjy7RDCG1KuCyCkO8nJycGDDz7YbrvNmzdj2LBhLd4nEokglbb9X1MsFkOhUNxXjYQIHQUXIV3Iz88PGo0G7a1dbW9vj9TU1Pt+naKiIvj4+Nz34wkRMgouQrqYTCYDAFy9ehXbt29HRkYGvLy8MH/+fMyYMaPTz6/T6ZCZmYmoqKhOPxchQkRjXIRYQXp6OiIiIvD999/Dzc0NOTk5mDlzJjZv3tysrcFggMFgQGBgYLuTMkQiEWQyGdRqNTw9PSESiTBlyhQO3iEh3BHR9bgI6XpPPfUUtFot9u/fbx6v2rNnD+Li4lBRUQEHBwccPXoUjz76qPkxiYmJeP755zv8WmKxGGIxfQYlPQcdKiTECtRqNaZMmdJokkVMTIx5VqCDgwMAoH///sjNzeWoSkKEiT6mEWIFixcvxttvv43U1FTU1tYiOzsbS5cuxfz586FUKtt87MqVKyGXy9u8eXh44Ny5czZ6N4TwCwUXIVYwa9YsbN26FfHx8VAoFBgzZgwCAwORmJjY7mPfeecd8zlerd3CwsJw8eJFG7wTQviHDhUSYiVz587F3LlzYTQaIZFIuvS5RSJRu1PuCemuaI+LECvZtWsXVq1a1WpoSSSSFu/74osv8MADD7R5qPCXX35BeHi4td8CIbxEe1yEWElRURHy8vJavX/8+PE4f/58s+1nz57Fs88+i507d1qzPEIEi4KLECsRi8XQ6XQwGAyttunVqxcYYxCJROZt9edrEUJaRocKCbGSqKgopKSkwM7Ors3b0qVLGz1u6NCh+M9//gOpVNrmbfLkyRy9M0K4RScgE0IIERTa4yKEECIoFFyEEEIEhYKLEEKIoFBwEUIIERTOp8ObTCYUFhZCoVDQFGBCCOnBGGNQqVTw9vZu84oHnAdXYWEhfH19uS6DEEIIT+Tl5bV5hW/Og0uhUACoK7S9VbMJIYR0X1VVVfD19TXnQms4D676w4NKpZKCixBCBCj3dg0u5ldgZmTfLnm+9oaNOA8uQgghwnUsswTLP0+HWmeEl7MDhg3sbfXXpOAihBDSYSYTw45j2dh+9CoYA6L7uaC/q6NNXpuCixBCSIeoNHqsTL6Iw1eKAQDzhvfD+ukhsJfa5gwrCi5CCCEWyy6pxpK9v+F6aQ3sJWL8a1YInnmon01roOAihBBikcMZRXg1+SKqtQb0UcqxK3YIIn1dbF4HBRchhJA2mUwM7x69ioTUbADAsIG9seO5aLgrZJzUQ8FFCCGkVZW1eqz4PB3HskoBAAsfHoA1MUGwk3C3YiAFFyGEkBZlFamwZO9vyC1TQyYV460nwzA7qvUVLWyFgosQQkgzB34vxP98+TvUOiP6ujggMXYIQvs6c10WAAouQgghDRiMJmw7nIXE4zkAgNH+bkh4Ngq9new5ruweCi5CCCEAgDs1Oiz7LB2nsm8DAJaM88OqxwIg5XA8qyUUXIQQQnC5oBIvJZ1H/p1aONhJsO3pcDwe7s11WS2i4CKEkB5uf3o+/rHvErQGE/q7OiIxdggC+/B30fNOB1dSUhLi4+PRr9+9M6dlMhnOnDkDiUTS2acnhBBiJXqjCW8e/AMfn84FAIwPcMd7z0TB2dGO28La0engMhgMiImJQVJSUlfUQwghxAZuV2sR90kazt0oBwAse8QfKyYNhkTM/yvR06FCQgjpYS7mVeClpPO4ValBL5kU78yJwOSQPlyXZTEKLkII6UGSf83D2m8uQ2cwwc/dCbtjh8Dfo+0rDvONzYNLq9VCq9Wav6+qqrJ1CYRwQqM3olSlRYlKg+IqLUqqNChRaVFcpUVptRYDXR3xyiODOFv/jXRvOoMJGw9kIOnsTQDAo8Ge2D4nAgo5v8ezWtLp4BKJRDhx4gRGjx6NsrIy+Pv7Y82aNRg5cmSL7bds2YINGzZ09mUJ4Q2N3oiSKi2KVZq6r3cDqT6Y6oOqslbf5vOcAPBVegFefXQwYkf05925M0S4Sqo0WPpJGs7/eQciEfC3SYPxygR/iAUwntUSEWOMdeYJampqYDQaoVQqwRjDwYMHsWDBApw5cwaDBg1q1r6lPS5fX19UVlZCqeTv9EvS86h1hsZBpGq4l3Tvq0pjsPg5ZVIxPJQyeCrk8FDK4HH36wOO9vj03E1cKqgEAAT2UWDDjBAM93O11tsjPcT5P8uxNCkNJSotFHIpEuZGYUKgB9dltaiqqgrOzs7t5kGng6slixYtQnh4OOLj49tta2mhhHSVGq2hUfCUqhruJdXtOZVWaaHSWh5IcjsxPJVyeChk8Lj71fy9Qg7PuyGldJBCJGr5U67RxPD5rzex7VAWKtR1e2ezIr2xJiYIHkp5l7x30nMwxvDJuZvY8F0G9EaGAE8FEmOHYICbE9eltcrSPLDKGJfRaIRUSvM+iO0wxlCtNTQPoyotiu/uKdVvq9EZLX5eR3sJPJVyuCtkjcKoUUgpZVDIWg8kS0nEIswb3h8xoV7YdjgLn/1yE19fKMSRK8VYMWkwFjw8gNNLSRDh0OiNWPfNZST/lg8AmBbmha1PhcNJ1j3+Lnd6j6ugoACenp7moNq3bx9eeeUVpKWlwcvLq93H0x4XaQtjDFUaA0rrJzSYx5Hu/bt+DKlWb3kg9ZJJ7wZP4z2ihofvPJVy9OLwP/ql/Er885vLuJBXAQDw9+iFjTNCMMrfjbOaCP8VVtRiadJ5XMyvhFgEvDYlEIvH+nX6g5Ut2GyPKyUlBdu2bYNMVjcTKiAgAKmpqRaFFum5GGOoqjU0n9DQJIxKVBpo9CaLn1chlzY+PNdgz8izwWE8IXzyDPNxxldLR+HL8/l4KyUT2SXVeG7POUwL98LaaUHwcnbgukTCM2dzyhD3SRrKanRwcbTDv5+NwphB7lyX1eWsMsbVEbTH1b0wxlCh1jebwNBoHOluKOkMlgeSUi6tOzzXZM/Is8lXB/vuucxYpVqP7UeysPfsnzAxwMFOgmUT/fHC6IGQSbvneyaWY4zh49O52HzwDxhNDMFeSiTGDoFvb0euS+sQTidndAQFlzCYTAx31Drz7Lrm40h1X0tVWuiMlgeSi6OdeczIvZUJDR5KGeR29McZAK4UVmH9t5fxa+4dAICfmxPWzwjBuMHd71M1sUytzojVX/2Ory8UAqib0LPliXBBfoij4CIWMZkYytW6xuceVWkb7TGVVGlQWq2F3mj5r8oDjnbNwujehIa6QHJXUCDdD8YY9qcX4M2DmbhdXXdqyeQQT6ydFiy4T9ikc/LK1Viy9zyu3KqCRCzC6zFBWPjwAEGMZ7WEgquHM5oYymq05vGihhMaiqu0KFXVhVKpSguDyfJfAVcn+3vjRvVh1GRCg3svGeylNPvN2lQaPd49eg3/PZMLo4lBJhUjboI/Fo/1ow8EPcDJa6VY9lk6KtR6uDrZ4/3nojHyQWGf90fB1U0ZjCaU1eiaTWioD6P6cLpdrYPRwkASiQBXp/oguneYzr3JnpIbBRIvXS1WYd03l3E2p26V7/6ujlg/PRiPBHpyXBmxBsYYEk/kYGtKJkwMCPdxxq75Q+DtIvzJOhRcAmMwmnC7WtdoQkNLywaVVWth6Q6SWAS49moSRg3Hju6Gkmsvezo/SOAYY/ju91vY/P0VFFfVHT6cGOiBddOD0d+Vvyecko6p0RrwP/t+x/e/3wIAPD3EB/+aFdpt9rApuHhCbzQ1mVF3bxypuMHU77IaHSz9SUjEIrj1sm8xjBpOaHB1sqf17nqYGq0BCanX8J+TN2AwMdhLxXhprB+WjvcX5GA9uSf3dg2W7D2PrGIV7CQirJsegvnD+wl2PKslFFxWpjXUr/TdZP26qsaz7spqdBY/p0QsMo8dNQujRoEkE8TF3gh3skuq8ca3GTiVfRsA0NfFAeumB+OxYM9u9YeupziWWYLln6ejSmOAu0KGD+ZFY+iA3lyX1eUouO5Tw0tPNBxHqh87qt97uqNue6XvhuwkIrj3angybINFVhuMI/V2tBfsas2EfxhjSLlchH8duILCSg0AYOxgd7wxPRh+7r04ro5YwmRi2HEsG9uPXgVjQHQ/F3wwfwg8u+nalRRcTTS99ERJkyWELL30REP2EnHdGnaNVvtuvsjqAxRIhENqnQE7j13H7hM50BlNsJOIsGiMH5Y94g9He/6vINJTqTR6rEy+iMNXigEA84b3w/rpId16glSPCi6VRo8/bqlandBQUqVBVQcuPWEvFTdbUNW9yXlIngo5XBzt6LALEYwbt2uw4bsM/JRVCgDwcpbj9WlBmBbmRb/HPJNdUo0le3/D9dIa2EvE2DQrFHMe8uW6LKuzeXB9+OGHSEhIgFgshre3N/bs2YO+fft2WaFtOZdThmd2n223nUwqbjWM7p2PJIOzAwUS6Z4YYzj6Rwk2HshAXnktAOBhf1dsmBEiuMu3d1eHM4rwavJFVGsN8HKW44P5QxDp68J1WTZh08uaHDp0CLt378apU6fg7OyM5ORkPPHEEzh37lxXPH27vJwd0N/VEZ4KOdwbHLZrOg1cKe/8pScIETKRSIRHgz0xZpAbdh2/jg9+uo7T2WWY8u5JPD96IOInDuJ0RfyezGRiePfoVSSkZgMAhg/sjR3zouHWS8ZxZfzTJXtcTzzxBF588UVMnTrVvG3UqFHYuXMnIiMj23ws3yZnENKT5JWrsfHAFRy5O47ioZDh9WlBmBHhTR/ybKiyVo8Vn6fj2N3DuAsfHoA1MUE97vxKmx4qdHZ2RmFhIZyc7p3ouHr1avTu3RurVq3qkkIJIdZzLKsEG77NQG6ZGgAwbGBvbJwZgsA+9H/S2rKKVFiy9zfklqkhk4rx1pNhmB3lw3VZnLA0Dzod59XV1ZBKpY1CCwB8fX2Rk5PTrL1Wq0VVVVWjGyGEWxMCPHDob2OxanIA5HZi/HKjHNMSTuGNbzM6NNOWdMyB3wsxe+dp5Jap0dfFAfuWjuqxodURnQ6uiooKyOXNzymQy+VQq9XNtm/ZsgXOzs7mm69v958pQ4gQyKQSxE3wx48rxyMmrA+MJob/nsnFxHd+wpfn82HqwGLMpG0GowlbfvgDr3yaDrXOiNH+bvhu2WiE9nXmujRB6HRwyWQyaDSaZttra2vh4NB80cfVq1ejsrLSfMvLy+tsCYSQLtTXxQE75w3B3heGwc/dCberdfj7/7uIp3adweWCSq7LE7w7NTos+PhXJB6vOyK1ZJwf/rvwIfR2sue4MuHodHC5ubmhtrYW1dXVjbbn5eXBx6f5Lq9MJoNSqWx0I4Twz5hB7khZPharpwbC0V6CtJsVmPH+Kaz9+hIq1JYvZUbuuVxQienvn8Kp7NtwsJPg/eeisHpqEK0p2kGd7i2RSIThw4fjxIkTjbYfP34co0aN6uzTE0I4ZC8VY8m4B5G6cjxmRHjDxICkszcx4e2f8NkvN+nwYQfsT8/Hkx+cQf6dWvR3dcT+uFF4PNyb67IEqUtiPj4+HuvWrTNPtEhOTkZNTQ3Gjx/fFU9PCOFYH2c5Ep6NwmcvjsBgz164o9Zj9VeXMHvnaVzMq+C6PF7TG03Y8F0G/vbFRWgNJowPcMe3caNpxmYndNnKGQkJCUhMTIRYLEafPn2we/duDBw4sN3H0XR4QoRFbzTh//78J949chUqrQEiETD3IV+smhxI4zRN3K7WIu6TNJy7UXeRz2WP+GPFpMF0dYdW9Ki1Cgkhtlei0uCtg5n4Kr0AAODsYIe/Tw7Ac8P60R9mABfzKvBS0nncqtSgl0yKd+ZEYHJIH67L4jUKLkKITfyaW45132Tgj1t1QwUh3kpsnBmKIf0f4Lgy7iT/moe131yGzmCCn7sTdscOhb8HXUqmPRRchBCbMRhN+PSXm3j7UJb5SgxPRvvgH1MD4a7oOWvt6QwmbDyQgaSzNwEAjwV74p05EVDI7TiuTBgouAghNne7WottKVn44re68zMVcilefXQwYkf07/ZTvkuqNFj6SRrO/3kHIhHw6qTBiJvgT9fi6wAKLkIIZ9Jv3sG6bzJw6e4Jy4F9FNgwIwTD/Vw5rsw6zv9ZjqVJaShRaaGQS5EwNwoTAj24LktwKLgIIZwymhi++DUPWw9lokJdt97hrEhvrI4J6jaXnmeM4ZNzN7HhuwzojQwBngokxg7BADen9h9MmqHgIoTwwp0aHd4+nIVPf7kJxgAnewlWTBqMBQ8PEPRlOzR6I9Z9cxnJv+UDAKaFeWHrU+FwouuZ3TcKLkIIr1zKr8Q/v7mMC3dPWPb36IWNM0Iwyt+N28LuQ2FFLZYmncfF/EqIRcBrUwKxeKwfXcOskyi4CCG8YzIxfJmWj//1QybKaurWO5wW7oXXY4Lg7dJ8UW4+OptThrhP0lBWo4OLox3+/WwUxgxy57qsboGCixDCW5VqPbYfycLes3/CxAAHOwmWTfTHC6MHQiaVcF1eixhj+Ph0LjYf/ANGE0OwlxKJsUPg29uR69K6DQouQgjvXSmswvpvL+PX3DsAAD83J6yfEYJxg/m1B1OrM2L1V7/j6wuFAOommWx5IhwO9vwMWaGyWXAlJSUhPj4e/fr1M2+TyWQ4c+YMJJL2f6gUXIT0bIwxfH2hAG8ezESpSgug7sTdfz4ezIu9mbxyNZbsPY8rt6ogEYvwekwQFj48gMazrMDSPOj09BeDwYCYmBgkJSV19qkIIT2QSCTC7CgfTAryxHtHr+HjM7k4fKUYx6+WIm6CPxaP9YPcjps9m5PXSrHss3RUqPVwdbLH+89FY+SD3fNcNCER7lxUQki3opDbYe3jwfhh+RiM8OsNrcGE7Ueu4rH/fQI//lFs01oYY9h1/Dr++tEvqFDrEe7jjO+WjabQ4gkKLkIIrwz2VOCzF0fg389GoY9Sjpvlarzwf37DC//9FX+W1Vj99Wu0BrzyWTre+iETJgbMGeqD5CUjBTPrsSew+ZlyWq0WWq3W/H39xScJIaSeSCTC9AhvPBLogYTUa/jo1A38mFmCk9m38dJYPywd72+ViRG5t2uwZO95ZBWrYCcRYf30EMwb3o/Gs3imQ3tcly9fRmRkpPm2b98+iEQinDhxAqNHj0ZQUBCmT5+On3/+udXn2LJlC5ydnc03X1/fTr8JQkj35CSTYvXUIPywfCzGDHKDzmBCQmo2Jm0/jpTLRejKSdHHMksw4/1TyCpWwV0hw+eLR2D+iP4UWjzU6VmFNTU1MBqNUCqVYIzh4MGDWLBgAc6cOYNBgwY1a9/SHpevry/NKiSEtIkxhkMZRfjXgT9QUFELABg72B1vTA+Gn/v9X+vKZGLYcSwb249eBWPAkP4P4IN50fDoJuspCgmn53EtWrQI4eHhiI+Pb7ctTYcnhHRErc6IHceysftEDnRGE+wkIiwa44dlj/jD0b5jox8qjR4rky/i8JW6yR/zR/TDusdDYC+l4X8uWJoHVvnpGI1GSKW00CQhpOs52Evw98kBOPy3sZgQ4A69keGDn65j4jvHceD3QosPH2aXVGPWjtM4fKUY9hIxtj4Zjk2zwii0BKDTP6GCggIYDAbz9/v27UNKSgpmz57d2acmhJBWDXBzwkcLHsKevwyFb28H3KrU4JVP0zFvzzlcK1a1+djDGUWYteM0rpfWwMtZjuSXRmLOQzTeLhSd3i1KSUnBtm3bIJPVXZ47ICAAqamp8PLy6nRxhBDSFpFIhEnBnhg9yA27jl/HBz9dx5nrZZj63kksfHgA4icOgkJuZ25vMjG8e/QqElKzAQDDB/bGjnnRcOsl4+otkPtAaxUSQrqNvHI1Nh64giN3x6w8FDKsiQnCzEhvVGkMWPF5Oo5llQIAFj48AGtiggR9TbDuhhbZJYT0WMeySrDh2wzklqkBAMMG9EaJSoPcMjVkUjHeejIMs6N8OK6SNEXBRQjp0bQGI/acvIF/p16DRm8CAPR1cUBi7BCE9nXmuDrSEpstsksIIXwkk0oQN8Efs6L6YvvhqzCYTFg/PQS9ney5Lo10EgUXIaRb6+vigHfmRHBdBulCnAdX/ZFKWrOQEEJ6tvocaG8Ei/PgUqnqzregNQsJIYQAdbng7Nz6OCTnkzNMJhMKCwuhUCg6tZhl/ZqHeXl5gpjkQfVaF9VrXVSvdfXUehljUKlU8Pb2hljc+mkKnO9xicVi+Ph03bRUpVIpiB90ParXuqhe66J6rasn1tvWnlY9OvOOEEKIoFBwEUIIEZRuE1wymQzr1683r5nId1SvdVG91kX1WhfV2zbOJ2cQQgghHdFt9rgIIYT0DBRchBBCBIWCixBCiKAIKrg+/PBDhIWFISIiAlOnTkVBQUGrbVUqFebPn4/Q0FCEhIRg48aNFl/Su6t0pN5JkybB398fkZGR5tvGjRttWG2djz76CDKZDLm5uW2240P/ApbXy3X/Hjx4EBMnTkR4eDhCQ0Px0ksvQa1Wt9qe6/7taL1c929CQgLCw8MRERGBwMBAxMbG8vrvQ0fr5bp/G8rMzIRMJsOGDRtabaPX67F8+XKEhIQgJCQEy5Ytg06n67oimECkpKSwoUOHsoqKCsYYY1988QUbNmxYq+3nzp3LNm/ezBhjTKvVspkzZ7IdO3bYpFbGOl7vuHHj2JEjR2xVXovWrl3LpkyZwjw9Pdm1a9fabMt1/zLWsXq57t/jx4+z/Px8xhhjer2ePffcc2zlypWttue6fztaL9f9m5OTw2praxljdfWuXbuWRUZGttqe6/7taL1c929Djz32GJsyZQp7/fXXW23zj3/8gy1ZsoQZjUZmNBpZXFwcW7VqVZfVIJjgmj17Njt48GCjbSNHjmTp6enN2paVlTFfX19mMBjM27KyslhERISVq7ynI/Uyxv0vptFoZDt27GAGg4H179+/zSDgQ/92pF7GuO/fptLT01lYWFiL9/Ghf5tqq17G+Ne/RqORKZVKVlBQ0Ow+PvZvW/Uyxp/+/fLLL1lsbCxbv359q8FlNBpZ37592Z07d8zbKisrmbe3d6M+7wzBHCr88ccfMXbs2Ebbxo0bhyNHjjRr+9NPP2HEiBGQSCTmbYMHD0ZJSQlKSkqsXivQsXr5QCwW4+WXX27UZ63hQ/92pF4+Ki8vh1wub/E+PvRvU23Vy0dqtRoikQiurq7N7uNj/7ZVL1+o1WqsW7cOb731VpvtLly4AG9vb7i4uJi3KZVK9OvXD2lpaV1SiyCCq7q6GlKpFE5OTo22+/r6Iicnp1n7wsLCFleb9/HxwY0bN6xWZ72O1is0XPdvd7Br1y785S9/afE+PvZvW/XyTUZGBp555plWT4jlW/+2Vy9fvPnmm5g3bx68vb3bbNda/3bl3z9BBFdFRUWLn/bkcnmLA8Ydbd/V7uf1RSIR1qxZg+joaERERGDFihUoLy+3dqn3hev+vR986t9Dhw7hwoULePHFF1u8n2/92169AD/6d9WqVejTpw9CQ0Ph7e2N5cuXt9iOL/1rab0A9/17/fp17Nu3D6+++mq7bW3Rv4IILplMBo1G02x7bW0tHBwcOt2+q93P6ycnJ+Pnn39GWloaTp48CYPBgLlz51q71PvCdf/eD770b15eHhYvXoxPP/201U/XfOpfS+oF+NG/27ZtQ1FREW7fvg25XI6FCxe22I4v/WtpvQD3/bt8+XJs2rTJosPFtuhfQQSXm5sbamtrUV1d3Wh7Xl5ei5dE8fHxwc2bN5ttb619V+tovQDg7u5uPuauVCrx7rvv4uTJk6isrLR6vR3Fdf/eDz70b01NDWbNmoVNmzZh6NChrbbjS/9aWi/Aj/6t5+rqivfeew/79+9v8fX50r/12qsX4LZ/U1JSoFar8eSTT1rU3hb9K4jgEolEGD58OE6cONFo+/HjxzFq1Khm7UeOHInTp0/DaDSat2VlZcHe3t4mv5gdrbclJpMJYrGYl5MPuO7frmDr/jUajZg7dy6mTp2K2NjYNtvyoX87Um9LuP791Wq10Ol0jfqwHh/6t6m26m2JLfv3xo0byM/Pb3QO2a5du7Bnzx4MHTq02eG/yMhIXLt2DRUVFeZtVVVVyMzMRHR0dNcU1SVzE23gq6++YkOGDGGVlZWMsbrzosLCwpjRaGyx/YwZM8znaeh0OjZz5ky2detW3tabm5tr/ndlZSV7/vnn2TPPPGOTWpuyZHo51/3bkCX1ct2/cXFx7Omnn2Ymk8mi9lz3b0fr5bJ/tVoty8vLM39/584d9vTTT7N58+a1+hgu+/d+6uX697eptqbDM8ZYfHy8+Twuk8nE4uLi2Msvv9xlry+Y4GKMsffee48FBwez0NBQNmnSJJaTk8MYq/vFmzVrFrt165a5bVlZGZszZw4LDg5mgYGB7LXXXms1NPhQ7+OPP86CgoJYREQEi4iIYBs2bGBqtdqm9dYbNGhQo/8ofO3fepbUy2X/lpeXMwAsICDA/PoREREsMjKSFRUV8a5/76deLvs3Pz+fRUdHm+uNiopi27ZtYzqdjjHGv9/f+6mXT38fGGNs06ZN7I033jB//9e//pVdunTJ/H1tbS1bsmQJCwwMZIGBgWzRokVdWi9d1oQQQoigCGKMixBCCKlHwUUIIURQKLgIIYQICgUXIYQQQaHgIoQQIigUXIQQQgSFgosQQoigUHARQggRFAouQgghgkLBRQghRFAouAghhAjK/wenssinTPd82AAAAABJRU5ErkJggg==",
      "text/plain": [
       "<Figure size 500x100 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "pd.Series([1, 3, 5, -7, 9]).plot(title=\"한글\", figsize=(5, 1))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 데이터 로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 학습, 예측 데이터셋을 불러옵니다.\n",
    "train = pd.read_csv(\"data/klue/train_data.csv\")\n",
    "test = pd.read_csv(\"data/klue/test_data.csv\")\n",
    "train.shape, test.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 토픽을 불러옵니다.\n",
    "topic = pd.read_csv(\"data/klue/topic_dict.csv\")\n",
    "topic"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 전처리를 위한 데이터 병합\n",
    "* 학습, 예측 세트를 똑같이 전처리 해주기 위해 각각 같은 방법을 적용해 줄 수도 있지만\n",
    "* 두 데이터를 병합해서 전처리를 해주고 다시 나눠주는 방법을 알아보기 위해 병합 후 나눠보겠습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## concat\n",
    "<img src=\"https://pandas.pydata.org/docs/_images/08_concat_row.svg\" width=\"500\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 전처리를 위해 데이터 병합\n",
    "# df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 정답값 빈도수\n",
    "* train 에서 제공하는 정답값의 빈도수"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 정답값 빈도수를 확인합니다.\n",
    "# topic_count\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 정답값 빈도수를 시각화 합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 문자 전처리"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 정규표현식\n",
    "import re\n",
    "\n",
    "def preprocessing(text):\n",
    "    # 개행문자 제거\n",
    "    text = re.sub('\\\\\\\\n', ' ', text)\n",
    "    # 특수문자 제거\n",
    "    # 특수문자나 이모티콘 등은 때로는 의미를 갖기도 하지만 여기에서는 제거했습니다.\n",
    "    # text = re.sub('[?.,;:|\\)*~`’!^\\-_+<>@\\#$%&-=#}※]', '', text)\n",
    "    # 한글, 영문, 숫자만 남기고 모두 제거하도록 합니다.\n",
    "    #text = re.sub('[^가-힣ㄱ-ㅎㅏ-ㅣa-zA-Z0-9]', ' ', text)\n",
    "    # 한글, 영문만 남기고 모두 제거하도록 합니다.\n",
    "    text = re.sub('[^가-힣ㄱ-ㅎㅏ-ㅣa-zA-Z]', ' ', text)\n",
    "    # 중복으로 생성된 공백값을 제거합니다.\n",
    "    text = re.sub('[\\s]+', ' ', text)\n",
    "    # 영문자를 소문자로 만듭니다.\n",
    "    text = text.lower()\n",
    "    return text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# map을 통해 전처리 일괄 적용\n",
    "# df[\"title\"]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 불용어 제거"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 불용어 제거\n",
    "def remove_stopwords(text):\n",
    "    tokens = text.split(' ')\n",
    "    stops = [ '합니다', '하는', '할', '하고', '한다', \n",
    "             '그리고', '입니다', '그', '등', '이런', '및','제', '더']\n",
    "    meaningful_words = [w for w in tokens if not w in stops]\n",
    "    return ' '.join(meaningful_words)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df[\"title\"]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 학습, 예측 데이터셋 분리\n",
    "* 전처리가 되었다면 concat 으로 합쳐주었던 데이터프레임을 다시 학습과 예측 데이터셋으로 분리합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 정답값으로 사용할 topic_idx 를 변수에 담아 재사용 합니다.\n",
    "# label_name"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# label_name 을 기준으로 학습, 예측 세트를 분리합니다.\n",
    "# label_name 이 있다면 학습 세트, 없다면 예측 세트가 됩니다.\n",
    "# df_train\n",
    "# df_test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 기출문제의 정답을 만들어 줍니다.\n",
    "# 잘 나뉘었는지 정닶 값의 빈도수를 확인해 봅니다.\n",
    "# y_train"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 테스트의 정답은 모두 결측치 입니다.\n",
    "# Dacon 사이트에 예측 값을 제출해야 맞고 틀린 갯수를 알 수 있습니다.\n",
    "# y_test\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 벡터화\n",
    "* 머신러닝이나 딥러닝 알고리즘은 문자를 이해할 수 없습니다. 내부에서는 수치 계산이 이루어지기 때문에 문자를 숫자로 변경해 주어야 합니다.\n",
    "\n",
    "\n",
    "### TF-IDF(Term Frequency - Inverse Document Frequency)\n",
    "\n",
    "정보 검색과 텍스트 마이닝에서 이용하는 가중치로, 여러 문서로 이루어진 문서군이 있을 때 어떤 단어가 특정 문서 내에서 얼마나 중요한 것인지를 나타내는 통계적 수치이다. 문서의 핵심어를 추출하거나, 검색 엔진에서 검색 결과의 순위를 결정하거나, 문서들 사이의 비슷한 정도를 구하는 등의 용도로 사용할 수 있다.\n",
    "\n",
    "TF(단어 빈도, term frequency)는 특정한 단어가 문서 내에 얼마나 자주 등장하는지를 나타내는 값으로, 이 값이 높을수록 문서에서 중요하다고 생각할 수 있다. 하지만 단어 자체가 문서군 내에서 자주 사용 되는 경우, 이것은 그 단어가 흔하게 등장한다는 것을 의미한다. 이것을 DF(문서 빈도, document frequency)라고 하며, 이 값의 역수를 IDF(역문서 빈도, inverse document frequency)라고 한다. TF-IDF는 TF와 IDF를 곱한 값이다.\n",
    "\n",
    "IDF 값은 문서군의 성격에 따라 결정된다. 예를 들어 '원자'라는 낱말은 일반적인 문서들 사이에서는 잘 나오지 않기 때문에 IDF 값이 높아지고 문서의 핵심어가 될 수 있지만, 원자에 대한 문서를 모아놓은 문서군의 경우 이 낱말은 상투어가 되어 각 문서들을 세분화하여 구분할 수 있는 다른 낱말들이 높은 가중치를 얻게 된다.\n",
    "\n",
    "\\begin{equation*}\n",
    "\\text{tfidf}(w, d) = \\text{tf} \\times (\\log\\big(\\frac{N + 1}{N_w + 1}\\big) + 1)\n",
    "\\end{equation*}\n",
    "\n",
    "\n",
    "* 출처 : [tf-idf - 위키백과, 우리 모두의 백과사전](https://ko.wikipedia.org/wiki/Tf-idf)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# TfidfVectorizer 로 벡터화 합니다.\n",
    "# fit 으로 변환할 어휘를 학습합니다.\n",
    "\n",
    "# tfidfvect"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# transform\n",
    "# X_train\n",
    "# X_test\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 단어 사전 feature_names\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# np.sum 으로 위에서 구한 TF-IDF 값을 단어별로 더합니다. axis=0 으로 합니다. \n",
    "\n",
    "# df_vocab"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# TF-IDF 합계 값이 높은 상위 10개 어휘\n",
    "# df_vocab"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# 위에서 구한 빈도수를 그래프로 그립니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 모델 학습\n",
    "\n",
    "\n",
    "\n",
    "<img src=\"https://i.imgur.com/rKOYbeX.png\">\n",
    "\n",
    "전체 과정\n",
    "* feature_names : 학습(훈련), 예측에 사용할 단어 사전 입니다.\n",
    "* label_name : 정답값\n",
    "\n",
    "* X_train : feature_names 에 해당되는 컬럼만 train에서 가져옵니다.\n",
    "    * 학습(훈련)에 사용할 데이터셋 예) 시험의 기출문제\n",
    "\n",
    "* X_test : feature_names 에 해당되는 컬럼만 test에서 가져옵니다.\n",
    "    * 예측에 사용할 데이터셋 예) 실전 시험문제\n",
    "\n",
    "* y_train : label_name 에 해당 되는 컬럼만 train에서 가져옵니다.\n",
    "    * 학습(훈련)에 사용할 정답 값 예) 기출문제의 정답\n",
    "\n",
    "* model : 학습, 예측에 사용할 머신러닝 알고리즘\n",
    "\n",
    "* model.fit(X_train, y_train) : 학습(훈련), 기출문제와 정답을 가지고 학습(훈련)하는 과정과 유사합니다.\n",
    "\n",
    "* model.predict(X_test) :  예측, 실제 시험을 보는 과정과 유사합니다. => 문제를 풀어서 정답을 구합니다.\n",
    "\n",
    "* score\n",
    "    * 시험을 봤다면 몇 문제를 맞고 틀렸는지 채점해 봅니다.\n",
    "* metric\n",
    "    * 점수를 채점하는 공식입니다. (예를 들어 학교에서 중간고사를 봤다면 전체 평균을 계산해 줍니다.)\n",
    "\n",
    "\n",
    "### RandomForestClassifier\n",
    "\n",
    "<img src=\"https://upload.wikimedia.org/wikipedia/commons/c/c7/Randomforests_ensemble.gif\">\n",
    "\n",
    "### DecisionTree와 Randomforest의 Parameter\n",
    "* n_estimators\n",
    "    * DecisionTree 는 트리를 하나만 만들기 때문에 없음\n",
    "    * 결정트리의 개수, 많을 수록 성능이 좋아지나 오래걸리며 샘플의 수에 따라 트리를 만들 수 있는 개수가 제한적\n",
    "* max_depth\n",
    "    * 트리의 최대 깊이\n",
    "* max_features\t\n",
    "    * 피처의 개수(int) 혹은 비율(float)\n",
    "    * sqrt 또는 auto : 전체 피처 중 √(피처개수) 만큼 사용\n",
    "    * log : 전체 피처 중 log2(전체 피처 개수) 만큼 \n",
    "* min_samples_split\n",
    "    * 노드를 분할하기 위한 최소 샘플 데이터수\n",
    "* min_samples_leaf\n",
    "    * 리프노드가 되기 위해 필요한 최소 샘플 데이터수\n",
    "* max_leaf_nodes\n",
    "    * 리프노드의 최대 개수\n",
    "* n_jobs\n",
    "    * 사용할 CPU 코어의 수, -1로 설정 시 사용할 수 있는 모든 CPU코어를 사용\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# RandomForestClassifier 를 불러옵니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 교차 검증\n",
    "\n",
    "<img src=\"https://i.imgur.com/x9M8zpI.png\" width=\"600\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# cross_val_predict 로 교차 검증을 합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 교차 검증 정확도"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# 교차 검증 결과 \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# 교차 검증 결과 점수를 구해봅니다.\n",
    "# 모의고사를 보고 채점해 보는 과정과 유사합니다.\n",
    "# valid_accuracy"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df_accuracy 로 정답여부 컬럼을 만듦\n",
    "# df_accuracy"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# groupby 로 분류별 정확도를 구합니다.\n",
    "# df_group_accuracy"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 학습"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# fit 으로 학습시킵니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 피처 중요도 구하기\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 예측"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 실전 시험과 유사합니다. 정답 없이 문제만 넣고 풀어서 예측합니다.\n",
    "# predict로 예측합니다. \n",
    "# y_predict"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 정답값 로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# sample_submission 파일을 불러옵니다.\n",
    "# Dacon 에 제출할 답안지 양식입니다.\n",
    "submit = pd.read_csv(\"data/klue/sample_submission.csv\")\n",
    "submit.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 정답값 측정을 위해 y_test 변수에 할당\n",
    "# submit[\"topic_idx\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "file_name = f\"data/klue/submit_{valid_accuracy}.csv\"\n",
    "file_name"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 파일로 저장합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 잘 저장이 되었는지 확인합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* dacon에 제출해서 리더보드 확인하기 : https://dacon.io/competitions/official/235747/mysubmission\n",
    "\n",
    "\n",
    "## 여러 방법을 통해 예측비율을 높여보세요. \n",
    "* 아래 항목 외의 기법을 사용해도 됩니다.\n",
    " * 전처리 하기\n",
    " * 불용어 처리\n",
    " * BOW, TF-IDF의 파라메터 변경\n",
    " * 분류기의 파라메터 변경\n",
    " * 분류기 변경"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.4"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": false,
   "sideBar": false,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {
    "height": "calc(100% - 180px)",
    "left": "10px",
    "top": "150px",
    "width": "320px"
   },
   "toc_section_display": false,
   "toc_window_display": false
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}