0102-pandas-string-input.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "🌱 인프런 📚 모두의 한국어 텍스트 분석과 자연어처리 with 파이썬 🐍 https://inf.run/FX4TP\n",
    "\n",
    "\n",
    "[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/corazzon/python-text-analysis/blob/main/0102-pandas-string-input.ipynb)\n",
    "\n",
    "\n",
    "\n",
    "## 판다스 기초\n",
    "* https://pandas.pydata.org/\n",
    "* [Pandas_Cheat_Sheet.pdf](https://pandas.pydata.org/Pandas_Cheat_Sheet.pdf)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# pandas 라이브러리를 불러옵니다.\n",
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "pd.__version__"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# conda prompt, terminal 을 통해서 업그레이드 해주세요!\n",
    "# !pip install pandas --upgrade"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## DataFrame과 Series\n",
    "\n",
    "<img src=\"https://pandas.pydata.org/docs/_images/01_table_dataframe.svg\" width=\"400\" align=\"left\">\n",
    "\n",
    "<img src=\"https://pandas.pydata.org/docs/_images/01_table_series.svg\" width=\"180\">\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 판다스로 다룰 문서를 리스트 형태로 만듭니다.\n",
    "document = [\"코로나 상생지원금 문의입니다.\",\n",
    "            \" 낮12시~2시 지하철 운행시간 문의입니다.\",\n",
    "            \"밤 12시 이후 버스 운행시간 문의입니다. \",\n",
    "            \"사회적 거리두기로 인한 10시 이후 영업시간 안내입니다.\",\n",
    "            \"Bus 운행시간 문의입니다.\",\n",
    "            \" Taxi 승강장 문의입니다.\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 리스트 타입의 문서를 판다스 데이터프레임 형태로 만듭니다.\n",
    "# 컬럼명은 [\"문서\"]로 합니다.\n",
    "# pd.DataFrame({\"문서\": document})\n",
    "# df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# shape로 행, 열 크기 보기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# info를 통해 데이터프레임의 정보를 봅니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 문의날짜 만들기\n",
    "# df[\"날짜\"]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### DataFrame에서 특정 열 선택하기\n",
    "\n",
    "<img src = 'https://pandas.pydata.org/docs/_images/03_subset_columns.svg' width=\"600\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# \"문서\" 컬럼 가져오기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# DataFrame 의 type\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Series 의 type\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# DataFrame \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### DataFrame에서 특정 행 가져오기\n",
    "\n",
    "<img src = 'https://pandas.pydata.org/docs/_images/03_subset_rows.svg' width=\"600\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 첫번째 행 가져오기\n",
    "# loc[행]\n",
    "# loc[행, 열]\n",
    "# loc[조건, 열]\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# loc[행, 열]\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# loc[행, 열]\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# loc[행, 열]\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "###  DataFrame에서 특정 행과 열 함께 가져오기\n",
    "<img src = 'https://pandas.pydata.org/docs/_images/03_subset_columns_rows.svg' width=\"600\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 행과 열 함께 가져오기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df.loc[0, 1] => iloc"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# .iloc를 사용해서 일부 슬라이싱 하기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 슬라이싱\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df.head?? => 소스코드를 보면 iloc 를 사용하고 있습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 판다스 문자열 다루기\n",
    "\n",
    "* https://pandas.pydata.org/docs/user_guide/text.html\n",
    "* https://pandas.pydata.org/docs/reference/series.html#api-series-str\n",
    "\n",
    "\n",
    "판다스의 시리즈 형태의 데이터를 문자열로 다루게 되면 파이썬 문자열 함수와 비슷하게 문자열을 처리할 수 있습니다. 다음과 같은 문서가 판다스의 시리즈 형태로 있다고 할 때 대소문자 변경, 공백제거, 어절 나누기, 특정문자 찾기, 바꾸기 등의 문자열 전처리에 필요한 몇 가지 기능을 알아봅니다. \n",
    "\n",
    "\n",
    "\n",
    "### 대소문자 변경"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 대문자로 변경하기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 소문자로 변경하기\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 양끝 공백 제거"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 양끝 공백 제거\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 어절 나누기\n",
    "* 토큰화, 문자열 나누기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 어절 나누기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 어절을 나누고 데이터프레임으로 반환받기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 특정 단어 기준으로 문서를 나눕니다.\n",
    "# \"문의\" 단어 기준으로 나누기\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 특정 문자 찾기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 특정 문자가 들어가는 텍스트 찾기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 특정 문자가 들어가는 텍스트를 찾아 다시 데이터프레임으로 감싸주면 해당 데이터만 가져오게 됩니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 파생변수 만들기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 특정 문자가 들어가는 텍스트 찾기\n",
    "# \"문의\"가 들어가는 여부를 확인하고 파생변수 만들기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 특정 문자가 들어가는 텍스트 찾기\n",
    "# \"안내\"가 들어가는 여부를 확인하고 파생변수 만들기\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 문자열 바꾸기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# .str.replace로 \"운행\" => \"영업\" 으로 바꾸기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# .str.replace 를 사용해서 문자열을 변경할 때 정규표현식을 함께 사용\n",
    "# |(엔터키 위의 키를 Shift를 누르고 사용)는 or를 의미합니다.\n",
    "# & 는 and 를 의미합니다.\n",
    "# 버스|지하철 를 \"대중교통\"으로 변경해 봅니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* <font color=\"red\">pandas 구버전을 사용한다면 `regex=True` 지정시 오류가 날 수 있습니다.</font>\n",
    "* 오류가 나면  `regex=True` 를 제외하고 사용하면 됩니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# replace 를 통해 특정 문자열을 변경\n",
    "# \"운행\"을 \"영업\" 으로 변경해 봅니다.\n",
    "# replace => DF\n",
    "# str.replace => Series\n",
    "# df.replace(\"운행\", \"영업\", regex=True)\n",
    "# df.replace(\"2022-05-01\", \"2023-05-01\")\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# str 을 제외하고 replace()를 사용해서 문자열의 일부만 변경하고자 할때는 regex=True 를 함께 사용\n",
    "# replace() 는 전체 일치하는 값이 있을 때 값이 변경되며 \n",
    "# 데이터프레임에서 사용할 때는 딕셔너리 형태로 변경하고자 하는 컬럼과 값을 지정해서 사용\n",
    "# \"지하철\"을 \"교통\"으로 변경합니다.\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 딕셔너리의 키, 값으로 작성하면 키 값과 일치하는 값으로 변경합니다.\n",
    "# {\"문의\":\"질문\"}\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 정규표현식 \n",
    "\n",
    "* [정규 표현식 - 위키백과, 우리 모두의 백과사전](https://ko.wikipedia.org/wiki/%EC%A0%95%EA%B7%9C_%ED%91%9C%ED%98%84%EC%8B%9D)\n",
    "\n",
    "\n",
    "* 파이썬 공식문서 정규표현식 참고하기 : \n",
    "    * https://docs.python.org/3.9/library/re.html#re.sub\n",
    "    \n",
    "    \n",
    "* 문자열 바꾸기 : re.sub(\"규칙\", \"패턴\", \"데이터\")\n",
    "    * https://docs.python.org/3.9/library/re.html#text-munging\n",
    "\n",
    "\n",
    "* 정규표현식 문자열 패턴\n",
    "    * https://docs.python.org/3.9/howto/regex.html#matching-characters\n",
    "\n",
    "    \n",
    "    \n",
    "* [    ] : 일치시킬 문자 세트의 패턴\n",
    "* [가나다] : 가 or 나 or 다 중에 하나를 포함하고 있는지\n",
    "* [가-힣] : 한글 가부터 힣까의 문자 중 하나를 포함하고 있는지\n",
    "* [0-9] : 0~9까지의 숫자 중 하나를 포함하고 있는지\n",
    "* [^0-9] : 숫자를 포함하고 있지 않음\n",
    "* [^가-힣] : 한글이 포함되어 있지 않음\n",
    "* [가-힣+] : 한글이 하나 이상 포함되는지\n",
    "\n",
    "\n",
    "| 클래스 | 표현식 | 설명 |\n",
    "|----|-----|----|\n",
    "|\\d | [0-9]|십진수와 일치|\n",
    "|\\D| [^0-9] | 숫자가 아닌 문자와 일치|\n",
    "|\\s |[\\t\\n\\r\\f\\v] | 공백 문자와 일치 |\n",
    "|\\S |[^\\t\\n\\r\\f\\v]| 공백이 아닌 문자와 일치|\n",
    "| \\w| [a-zA-Z0-9_] | 모든 숫자 영문자와 일치|\n",
    "| \\W| [^a-zA-Z0-9_]| 영문자, 숫자가 아닌 것과 일치|\n",
    "\n",
    "\n",
    "표현식\t설명\n",
    "\n",
    "|표현식 | 설명 |\t\n",
    "|----|-----|\n",
    "|^x\t| 문자열의 시작을 표현하며 x 문자로 시작|\n",
    "|x$\t| 문자열의 종료를 표현하며 x 문자로 종료|\n",
    "|.x\t| 임의의 한 문자의 자리수를 표현하며 문자열이 x 로 끝남|\n",
    "|x+\t| 반복을 표현하며 x 문자가 한번 이상 반복됨|\n",
    "|x*\t| 반복여부를 표현하며 x 문자가 0번 또는 그 이상 반복됨|\n",
    "|x?\t| 존재여부를 표현하며 x 문자가 존재할 수도, 존재하지 않을 수도 있음|\n",
    "|x\\|y\t| or 를 표현하며 x 또는 y 문자가 존재함|\n",
    "|(x)\t| 그룹을 표현하며 x 를 그룹으로 처리함|\n",
    "|(x)(y)\t| 그룹들의 집합을 표현하며 순서대로 번호를 부여하여 x, y 는 각 그룹의 데이터로 관리|\n",
    "|(x)(?:y)\t| 그룹들의 집합에 대한 예외를 표현하며 그룹 집합으로 관리되지 않음|\n",
    "|x{n}\t| 반복을 표현하며 x 문자가 n번 반복됨|\n",
    "|x{n,}\t| 반복을 표현하며 x 문자가 n번 이상 반복됨\n",
    "|x{n,m}\t| 반복을 표현하며 x 문자가 최소 n번 이상 최대 m 번 이하로 반복됨|\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 숫자 제거하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 정규표현식의 [0-9] 로 숫자를 제거합니다.\n",
    "# df[\"문서\"].str.replace(\"[^0-9]\", \"\", regex=True)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 영문자 제거하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 문자, 단어 수 구하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 문자 길이를 구합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 단어의 갯수를 구합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 문자열 인덱싱과 슬라이싱"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 문자열 인덱싱\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 문자열 슬라이싱\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### map, apply 를 활용하기\n",
    "\n",
    "|| Series | DataFrame | 사용 예 |\n",
    "|---|---|---|---|\n",
    "|map|O|X|df[“컬럼명”].map(함수 or dict)|\n",
    "|apply|O|O|df.apply(함수) <br/> df[“컬럼명”].apply(함수)|\n",
    "|applymap|X|O|df.applymap(함수)|"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# map 과 lambda 를 사용하여 길이를 구하기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# map 과 lambda 를 사용하여 단어수 구하기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 파일로 저장하고 불러오기\n",
    "<img src=\"https://pandas.pydata.org/docs/_images/02_io_readwrite.svg\" width=\"500\" align=\"left\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 현재 파일이 저장된 경로 \n",
    "# 파일탐색기로 저장된 파일을 열어볼 때 \n",
    "# 아래의 코드를 실행해서 출력되는 경로의 폴더를 열어주세요.\n",
    "import os\n",
    "os.getcwd()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# to_csv 로 저장하기, 인덱스값은 제외 \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# read_csv 로 읽어오기\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## string data type\n",
    "* Panas Changed in version 1.1.0."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "# string type 의 이해\n",
    "s1 = pd.Series([\"a\", 2, np.nan])\n",
    "s2 = pd.Series([\"a\", 2, np.nan]).astype(\"string\")\n",
    "s1, s2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 타입을 비교\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 값을 비교\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 더 읽어보기\n",
    "\n",
    "* https://pandas.pydata.org/docs/user_guide/text.html\n",
    "* https://pandas.pydata.org/docs/reference/series.html#api-series-str\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.4"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": false,
   "sideBar": false,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": false,
   "toc_window_display": false
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}