0301-klue-eda-input.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "🌱 인프런 📚 모두의 한국어 텍스트 분석과 자연어처리 with 파이썬 🐍 https://inf.run/FX4TP\n",
    "\n",
    "\n",
    "[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/corazzon/python-text-analysis/blob/main/0301-klue-eda-input.ipynb)\n",
    "\n",
    "<img src=\"https://i.imgur.com/b6wcQ7f.png\" width=\"500\">\n",
    "\n",
    "\n",
    "* scikit-learn 1.0 이상의 버전을 사용해 주세요!\n",
    "* 1.0 이하의 버전이라면 conda prompt 혹은 터미널을 열어 아래 명령어로 업그레이드 해주세요!\n",
    "* conda : conda update scikit-learn\n",
    "* pip install scikit-learn --upgrade\n",
    "\n",
    "\n",
    "* https://scikit-learn.org/stable/tutorial/machine_learning_map/index.html\n",
    "\n",
    "<img src=\"https://i.imgur.com/rKOYbeX.png\">\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 연합뉴스 타이틀 주제 분류 데이터 탐색과 시각화\n",
    "* 데이터셋 출처 : \n",
    "    * [뉴스 토픽 분류 AI 경진대회 - DACON](https://dacon.io/competitions/official/235747/overview/description)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 실습에서 wordcloud 를 사용하기 때문에 설치되어 있지 않다면 설치를 해주세요!\n",
    "# 아나콘다 사용시 conda 명령어 설치 권장\n",
    "# !pip install wordcloud\n",
    "# !conda install -c conda-forge wordcloud\n",
    "# !pip install koreanize_matplotlib"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 라이브러리 로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 데이터 분석을 위한 pandas, 수치계산을 위한 numpy, 시각화를 위한 seaborn, matplotlib 을 로드합니다.\n",
    "import re\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "import seaborn as sns\n",
    "import matplotlib.pyplot as plt\n",
    "import koreanize_matplotlib"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 한글 폰트 확인"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 데이터 로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 학습, 예측 데이터셋을 불러오고 shape 로 행과 열의 크기를 출력합니다.\n",
    "# train\n",
    "# test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 토픽을 불러옵니다.\n",
    "# topic"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# head 로 train의 상위 5개 데이터를 가져옵니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# head 로 test의 상위 5개 데이터를 가져옵니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 전처리를 위한 데이터 병합\n",
    "* 학습, 예측 세트를 똑같이 전처리 해주기 위해 각각 같은 방법을 적용해 줄 수도 있지만\n",
    "* 두 데이터를 병합해서 전처리를 해주고 다시 나눠주겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 토픽에 어떤 값이 있는지 values로 봅니다. \n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## concat\n",
    "<img src=\"https://pandas.pydata.org/docs/_images/08_concat_row.svg\" width=\"500\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 전처리를 위해 concat으로 데이터 병합\n",
    "raw = pd.concat([train, test])\n",
    "raw.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# head\n",
    "raw.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# tail\n",
    "raw.tail()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## merge\n",
    "<img src=\"https://pandas.pydata.org/docs/_images/08_merge_left.svg\">\n",
    "\n",
    "<img src=\"https://i.imgur.com/nD1Hwdl.png\" width=500>\n",
    "\n",
    "* 실제 토픽명을 볼 수 있도록 topic_idx 를 키값으로 merge 합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# raw 를 topic 데이터와 merge 합니다.\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# merge 가 잘 되었는지 head 로 확인\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 정답값 빈도수\n",
    "* train 에서 제공하는 정답값의 빈도수"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# test는 결측치로 되어 있기 때문에 빈도수에 포함되지 않습니다.\n",
    "# topic_idx 의 빈도수를 구합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# topic 의 빈도수를 구합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# df 로 빈도수를 구했지만 test 데이터는 topic이 결측치라 포함되지 않습니다. \n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 문자 길이"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 문자, 단어 빈도수 파생변수 만들기\n",
    "# len, word_count, unique_word_count\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 파생변수가 잘 만들어졌는지 확인하기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 서브플롯을 통해  \"len\", \"word_count\", \"unique_word_count\"의 histplot 을 시각화 합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# \"len\", \"word_count\", \"unique_word_count\" 의 기술통계 값을 구합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# heatmap 을 통한 \"len\", \"word_count\", \"unique_word_count\" 시각화\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"https://seaborn.pydata.org/_images/function_overview_8_0.png\">\n",
    "https://seaborn.pydata.org/tutorial.html"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 문장길이\n",
    "# displot 으로 topic 별 \"len\" 의 histplot 시각화 하기\n",
    "# data=df, x=\"len\", kind=\"hist\", hue=\"topic\", col=\"topic\", col_wrap=2, aspect=5, height=2\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 단어 수\n",
    "# displot 으로 topic 별 \"word_count\" 의 histplot 시각화 하기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 중복 제거 단어 수\n",
    "# displot 으로 topic 별 \"unique_word_count\" 의 histplot 시각화 하기\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 문자 전처리\n",
    "### 숫자 제거\n",
    "\n",
    "* [정규 표현식 - 위키백과, 우리 모두의 백과사전](https://ko.wikipedia.org/wiki/%EC%A0%95%EA%B7%9C_%ED%91%9C%ED%98%84%EC%8B%9D)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 정규표현식으로 숫자제거\n",
    "df[\"title\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 판다스의 str.replace 기능을 통해 제거\n",
    "df[\"title\"] "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 특수 문자 제거"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# 특수 문자 제거 시 구두점 참고\n",
    "import string\n",
    "\n",
    "punct = string.punctuation\n",
    "punct"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 특수 문자 사용시 정규표현식에서 메타 문자로 특별한 의미를 갖기 때문에 역슬래시를 통해 예외처리를 해주어야 합니다.\n",
    "df[\"title\"]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 영문자는 모두 소문자로 변경\n",
    "* 대소문자가 섞여 있으면 다른 다른 단어로 다루기 때문"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# CountVectorizer, TfidfVectorizer 를 사용하게 되면 기본값이 소문자라 별도 처리는 하지 않아도 됨\n",
    "# df[\"title\"]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 한글, 영문과 공백만 남기고 모두 제거"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 정규표현식 [^ㄱ-ㅎㅏ-ㅣ가-힣 ] 을 사용하면 한글과 공백만 남기고 제거하게 됩니다.\n",
    "df[\"title\"]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 공백 여러 개는 하나로"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 공백 여러 개 전처리 예시\n",
    "\"공백             전처리\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 여러 개의 공백([ ]+)을 하나의 공백으로 치환해 줍니다.\n",
    "df[\"title\"]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 불용어 제거"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 불용어 제거\n",
    "# def remove_stopwords(text):\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# map을 사용하여 불용어 제거하기\n",
    "# df[\"title\"]\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 형태소 분석을 통한 조사, 구두점 제거\n",
    "* Pecab\n",
    "    * [Pecab: Pure python Korean morpheme analyzer based on Mecab (https://github.com/hyunwoongko/pecab)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# pecab"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 워드클라우드\n",
    "\n",
    "* https://github.com/amueller/word_cloud\n",
    "\n",
    "* 불용어, 자주 등장하는 단어, 주제별 단어 등을 시각화 하기에 좋습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# wordcloud 설치 아나콘다 사용시 conda 명령어 설치 권장\n",
    "# !pip install wordcloud\n",
    "# !conda install -c conda-forge wordcloud"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 공식문서의 튜토리얼을 보고 wordcloud를 그리는 함수를 만들어 봅니다.\n",
    "# 이때 폰트 설정시 폰트명이 아닌 폰트의 설치 경로를 입력해 주셔야 합니다.\n",
    "# 윈도우 : r\"C:\\Windows\\Fonts\\malgun.ttf\" 해당 경로에 폰트가 있는지 확인을 해주세요.\n",
    "# 맥 : r\"/Library/Fonts/AppleGothic.ttf\"\n",
    "# 나눔고딕 등의 폰트를 설치했다면 : '/Library/Fonts/NanumBarunGothic.ttf'\n",
    "\n",
    "# !apt -qq -y install fonts-nanum\n",
    "\n",
    "import platform\n",
    "\n",
    "# 운영체제에 따른 한글 폰트 경로 설정\n",
    "if platform.system() == 'Windows':\n",
    "    # Windows 운영체제의 경우\n",
    "    font_path = r'C:\\Windows\\Fonts\\malgun.ttf'\n",
    "elif platform.system() == 'Darwin':\n",
    "    # macOS의 경우\n",
    "    font_path = r'/Library/Fonts/AppleGothic.ttf'\n",
    "    font_path = r'/usr/share/fonts/truetype/nanum/NanumBarunGothic.ttf'\n",
    "else:\n",
    "    # Linux 또는 기타 운영체제의 경우 (예: 'NanumBarunGothic')\n",
    "    font_path = r'/usr/share/fonts/truetype/nanum/NanumBarunGothic.ttf'\n",
    "    \n",
    "from wordcloud import WordCloud\n",
    "\n",
    "def display_word_cloud(data, stopwords=stopwords, width=1200, height=500):\n",
    "    word_cloud = WordCloud(font_path=font_path,\n",
    "                           width=width,\n",
    "                           height=height,\n",
    "                           stopwords=stopwords,\n",
    "                           background_color=\"white\",\n",
    "                           random_state=42\n",
    "                         ).generate(data)\n",
    "    plt.figure()\n",
    "    plt.imshow(word_cloud, interpolation=\"bilinear\")\n",
    "    plt.axis(\"off\")\n",
    "    plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# content 변수에 \"내용_전처리\"를 list형식으로 담아 줍니다.\n",
    "# join()을 이용하여 변수 content를 리스트에서 문자열로 변환해 줍니다.\n",
    "# content"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# content를 워드클라우드로 시각화 해봅니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 특정 토픽만 워드클라우드 시각화"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# topic 의 unique 값만 보기\n",
    "df[\"topic\"].unique()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# display_word_cloud 로 시각화\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.4"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}