0304-klue-pecab-hyperparameter-input.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "🌱 인프런 📚 모두의 한국어 텍스트 분석과 자연어처리 with 파이썬 🐍 https://inf.run/FX4TP\n",
    "\n",
    "\n",
    "[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/corazzon/python-text-analysis/blob/main/0304-klue-pecab-hyperparameter-input.ipynb)\n",
    "\n",
    "\n",
    "## 연합뉴스 타이틀 주제 분류\n",
    "* 데이터셋 출처 : \n",
    "    * [뉴스 토픽 분류 AI 경진대회 - DACON](https://dacon.io/competitions/official/235747/overview/description)\n",
    "\n",
    "## 기초 분류 모델 만들기\n",
    "\n",
    "* 데이터 로드\n",
    "* 데이터 전처리\n",
    "* 단어 벡터화(BOW, TF-IDF)\n",
    "* 분류기 설정하기\n",
    "* 분류기로 학습시키기\n",
    "* 학습의 정확도 보기\n",
    "* 테스트 데이터 예측하기\n",
    "* 실제 데이터와 예측결과의 차이를 보기"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 라이브러리 로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 데이터 분석을 위한 pandas, 수치계산을 위한 numpy, 시각화를 위한 seaborn, matplotlib 을 로드합니다.\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "import seaborn as sns\n",
    "import matplotlib.pyplot as plt\n",
    "import koreanize_matplotlib"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 데이터 로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 학습, 예측 데이터셋을 불러옵니다.\n",
    "train = pd.read_csv(\"data/klue/train_data.csv\")\n",
    "test = pd.read_csv(\"data/klue/test_data.csv\")\n",
    "train.shape, test.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 토픽을 불러옵니다.\n",
    "topic = pd.read_csv(\"data/klue/topic_dict.csv\")\n",
    "topic"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 형태소 분석\n",
    "\n",
    "### 형태소 분석기를 통한 조사 구두점 제거\n",
    "* https://github.com/hyunwoongko/pecab\n",
    "* 조사, 구두점 제거\n",
    "* 품사태그표 : \n",
    "    * https://konlpy.org/ko/v0.6.0/morph/\n",
    "    * https://docs.google.com/spreadsheets/d/1OGAjUvalBuX-oZvZ_-9tEfYD2gQe7hTGsgUpiiBSXI8/edit#gid=0"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# pecab\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# def corpus_pecab(corpus_text):\n",
    "#     join_text = []\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 형태소 분석기를 통한 전처리\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 전처리 결과 저장"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "file_name_train = f\"data/klue/train_pecab.csv\"\n",
    "file_name_test = f\"data/klue/test_pecab.csv\"\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 학습, 예측 데이터셋 만들기\n",
    "\n",
    "## 벡터화\n",
    "* 머신러닝이나 딥러닝 알고리즘은 문자를 이해할 수 없습니다. 내부에서는 수치 계산이 이루어지기 때문에 문자를 숫자로 변경해 주어야 합니다.\n",
    "\n",
    "\n",
    "### TF-IDF(Term Frequency - Inverse Document Frequency)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# TfidfVectorizer 로 벡터화 합니다.\n",
    "# fit 으로 변환할 어휘를 학습합니다.\n",
    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
    "\n",
    "# tfidfvect = TfidfVectorizer(tokenizer=None, \n",
    "#                              ngram_range=(1,2),\n",
    "#                              min_df=2, \n",
    "#                              max_df=0.95)\n",
    "\n",
    "# tfidfvect"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# transform\n",
    "# X_train\n",
    "# X_test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 정답값으로 사용할 topic_idx 를 변수에 담아 재사용 합니다.\n",
    "# label_name = \"topic_idx\"\n",
    "# y_train"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 모델\n",
    "\n",
    "\n",
    "전체 과정\n",
    "* feature_names : 학습(훈련), 예측에 사용할 단어 사전 입니다.\n",
    "* label_name : 정답값\n",
    "\n",
    "* X_train : feature_names 에 해당되는 컬럼만 train에서 가져옵니다.\n",
    "    * 학습(훈련)에 사용할 데이터셋 예) 시험의 기출문제\n",
    "\n",
    "* X_test : feature_names 에 해당되는 컬럼만 test에서 가져옵니다.\n",
    "    * 예측에 사용할 데이터셋 예) 실전 시험문제\n",
    "\n",
    "* y_train : label_name 에 해당 되는 컬럼만 train에서 가져옵니다.\n",
    "    * 학습(훈련)에 사용할 정답 값 예) 기출문제의 정답\n",
    "\n",
    "* model : 학습, 예측에 사용할 머신러닝 알고리즘\n",
    "\n",
    "* model.fit(X_train, y_train) : 학습(훈련), 기출문제와 정답을 가지고 학습(훈련)하는 과정과 유사합니다.\n",
    "\n",
    "* model.predict(X_test) :  예측, 실제 시험을 보는 과정과 유사합니다. => 문제를 풀어서 정답을 구합니다.\n",
    "\n",
    "* score\n",
    "    * 시험을 봤다면 몇 문제를 맞고 틀렸는지 채점해 봅니다.\n",
    "* metric\n",
    "    * 점수를 채점하는 공식입니다. (예를 들어 학교에서 중간고사를 봤다면 전체 평균을 계산해 줍니다.)\n",
    "    \n",
    "    \n",
    "### Randomforest Parameter\n",
    "* n_estimators\t\n",
    "    * 결정트리의 개수, 많을 수록 성능이 좋아지나 오래걸리며 샘플의 수에 따라 트리를 만들 수 있는 개수가 제한적\n",
    "* max_depth\n",
    "    * 트리의 최대 깊이\n",
    "* max_features\t\n",
    "    * 피처의 개수(int) 혹은 비율(float)\n",
    "    * sqrt 또는 auto : 전체 피처 중 √(피처개수) 만큼 사용\n",
    "    * log : 전체 피처 중 log2(전체 피처 개수) 만큼 \n",
    "* min_samples_split\n",
    "    * 노드를 분할하기 위한 최소 샘플 데이터수\n",
    "* min_samples_leaf\n",
    "    * 리프노드가 되기 위해 필요한 최소 샘플 데이터수\n",
    "* max_leaf_nodes\n",
    "    * 리프노드의 최대 개수\n",
    "* n_jobs\n",
    "    * 사용할 CPU 코어의 수, -1로 설정 시 사용할 수 있는 모든 CPU코어를 사용\n",
    "    \n",
    "## 학습과 예측\n",
    "\n",
    "\n",
    "* 배깅이나 부스팅과 같은 트리를 여러 개 만드는 알고리즘을 사용하면 느리기 때문에 시연을 위해 DecisionTree를 사용합니다.\n",
    "* 응용에서는 다른 알고리즘을 사용해도 좋습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# DecisionTreeClassifier\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Parameter Search\n",
    "<img src=\"https://i.imgur.com/h8QtsMz.png\" width=500>\n",
    "\n",
    "### Grid Search"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# GridSearchCV\n",
    "# {\"max_depth\": [600, 700, 1000, 2000]}\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# best_estimator_\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# best_score_\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Random Search"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# RandomizedSearchCV\n",
    "max_depth = np.random.randint(100, 3000, 10)\n",
    "max_features = np.random.uniform(0.2, 1.0, 10)\n",
    "param_distributions"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# best_estimator_\n",
    "# model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# best_score_\n",
    "# valid_accuracy\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 예측"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 실전 시험과 유사합니다. 정답 없이 문제만 넣고 풀어서 예측합니다.\n",
    "# predict로 예측합니다. \n",
    "# y_predict"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# feature_importances_\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 정답값 로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# sample_submission 파일을 불러옵니다.\n",
    "# Dacon 에 제출할 답안지 양식입니다.\n",
    "submit = pd.read_csv(\"data/klue/sample_submission.csv\")\n",
    "submit.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 정답값 측정을 위해 y_test 변수에 할당\n",
    "# submit[\"topic_idx\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "file_name = f\"data/klue/submit_{valid_accuracy}.csv\"\n",
    "file_name"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 잘 저장이 되었는지 확인합니다.\n",
    "submit.to_csv(file_name, index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 잘 저장이 되었는지 확인합니다.\n",
    "pd.read_csv(file_name)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* dacon에 제출해서 리더보드 확인하기 : https://dacon.io/competitions/official/235747/mysubmission\n",
    "\n",
    "\n",
    "## 여러 방법을 통해 예측비율을 높여보세요. \n",
    "* 아래 항목 외의 기법을 사용해도 됩니다.\n",
    " * 전처리 하기\n",
    " * 불용어 처리\n",
    " * BOW, TF-IDF의 파라메터 변경\n",
    " * 분류기의 파라메터 변경\n",
    " * 분류기 변경"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.4"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": false,
   "sideBar": false,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {
    "height": "calc(100% - 180px)",
    "left": "10px",
    "top": "150px",
    "width": "320px"
   },
   "toc_section_display": false,
   "toc_window_display": false
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}