Airbnb_crawl-v2.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "79351b04",
   "metadata": {},
   "source": [
    "# DScover 2022-2 Group C: AirBNB Crawler\n",
    "* optimized for python 3.8, selenium 4.1.0\n",
    "* Initial Commit: 2022.11.22"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "85b3064f",
   "metadata": {},
   "source": [
    "## 패키지 설치\n",
    "* 웹드라이버 실행 방법: 구글 크롬 설치 --> 크롬드라이버 다운로드 --> path에 드라이버 경로 지정"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "id": "bc75a8d2",
   "metadata": {
    "collapsed": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Requirement already satisfied: selenium==4.4.3 in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (4.4.3)\n",
      "Requirement already satisfied: trio~=0.17 in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (from selenium==4.4.3) (0.22.0)\n",
      "Requirement already satisfied: trio-websocket~=0.9 in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (from selenium==4.4.3) (0.9.2)\n",
      "Requirement already satisfied: certifi>=2021.10.8 in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (from selenium==4.4.3) (2022.9.24)\n",
      "Requirement already satisfied: urllib3[socks]~=1.26 in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (from selenium==4.4.3) (1.26.6)\n",
      "Requirement already satisfied: attrs>=19.2.0 in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (from trio~=0.17->selenium==4.4.3) (22.1.0)\n",
      "Requirement already satisfied: cffi>=1.14 in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (from trio~=0.17->selenium==4.4.3) (1.15.1)\n",
      "Requirement already satisfied: async-generator>=1.9 in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (from trio~=0.17->selenium==4.4.3) (1.10)\n",
      "Requirement already satisfied: exceptiongroup>=1.0.0rc9 in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (from trio~=0.17->selenium==4.4.3) (1.0.0rc9)\n",
      "Requirement already satisfied: outcome in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (from trio~=0.17->selenium==4.4.3) (1.2.0)\n",
      "Requirement already satisfied: sortedcontainers in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (from trio~=0.17->selenium==4.4.3) (2.4.0)\n",
      "Requirement already satisfied: sniffio in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (from trio~=0.17->selenium==4.4.3) (1.3.0)\n",
      "Requirement already satisfied: idna in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (from trio~=0.17->selenium==4.4.3) (3.2)\n",
      "Requirement already satisfied: wsproto>=0.14 in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (from trio-websocket~=0.9->selenium==4.4.3) (1.2.0)\n",
      "Requirement already satisfied: PySocks!=1.5.7,<2.0,>=1.5.6 in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (from urllib3[socks]~=1.26->selenium==4.4.3) (1.7.1)\n",
      "Requirement already satisfied: pycparser in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (from cffi>=1.14->trio~=0.17->selenium==4.4.3) (2.21)\n",
      "Requirement already satisfied: h11<1,>=0.9.0 in c:\\users\\ihoon\\appdata\\local\\packages\\pythonsoftwarefoundation.python.3.8_qbz5n2kfra8p0\\localcache\\local-packages\\python38\\site-packages (from wsproto>=0.14->trio-websocket~=0.9->selenium==4.4.3) (0.14.0)\n"
     ]
    }
   ],
   "source": [
    "#셀레늄 설치: 처음 설치할 때만 주석 처리 지우고 설치해주세요\n",
    "#!pip install selenium==4.1.0"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c57b2e43",
   "metadata": {},
   "outputs": [],
   "source": [
    "#4.1.0 버전 출력되는지 확인하기\n",
    "print(selenium.__version__)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "1ae22b45",
   "metadata": {},
   "outputs": [],
   "source": [
    "import selenium\n",
    "from selenium import webdriver\n",
    "import time\n",
    "path='C:\\\\Users\\\\ihoon\\\\Documents\\\\pyd\\\\chromedriver_win32\\\\chromedriver.exe' #크롬 드라이버 경로 지정해주세요\n",
    "import re\n",
    "import pandas as pd\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "id": "4a6f8298",
   "metadata": {},
   "outputs": [],
   "source": [
    "from selenium.webdriver.chrome.service import Service\n",
    "from selenium.webdriver.common.by import By\n",
    "from selenium.webdriver.support import expected_conditions as EC\n",
    "from selenium.webdriver.support.ui import WebDriverWait\n",
    "from selenium.webdriver.common.keys import Keys\n",
    "from selenium.common.exceptions import NoSuchElementException\n",
    "from selenium.webdriver import ActionChains\n",
    "from selenium.webdriver.chrome.options import Options"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "c7a821cd",
   "metadata": {},
   "outputs": [],
   "source": [
    "import warnings\n",
    "warnings.filterwarnings(\"ignore\", category=DeprecationWarning)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "544ab45a",
   "metadata": {},
   "source": [
    "## 수집 준비\n",
    "url_list에는 수집할 도시의 이름을 key로, 그 도시+아래 검색조건으로 반환되는 url을 value로 지정합니다.\n",
    "* 검색 조건: 유연한 일정 - 12월 및 1월의 주말\n",
    "\n",
    "page_no에는 총 몇 페이지를 볼 것인지 지정합니다.\n",
    "\n",
    "**실제 테스트용 value 먼저 정상 작동 확인한 후 수집용 value 주석처리 해제해서 돌리는 게 좋습니다.**\n",
    "\n",
    "get_housing_type 및 get_information 함수를 모두 선언해 주세요.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "id": "6a85664d",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "\"\\n#테스트용 값: 코드 정상 작동 확인용. 확인 후 삭제 혹은 주석처리해주세요.\\nurl_list={'영등포구':'https://www.airbnb.co.kr/s/%EC%98%81%EB%93%B1%ED%8F%AC%EA%B5%AC--%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C--%EB%8C%80%ED%95%9C%EB%AF%BC%EA%B5%AD/homes?tab_id=home_tab&refinement_paths%5B%5D=%2Fhomes&price_filter_input_type=0&price_filter_num_nights=2&query=%EC%98%81%EB%93%B1%ED%8F%AC%EA%B5%AC%2C%20%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C&date_picker_type=flexible_dates&flexible_trip_dates%5B%5D=december&flexible_trip_dates%5B%5D=january&source=structured_search_input_header&search_type=autocomplete_click&place_id=ChIJk_FAvx2ffDURQAuECsjy0Cw&flexible_trip_lengths%5B%5D=weekend_trip',\\n          '중랑구':'https://www.airbnb.co.kr/s/%EC%A4%91%EB%9E%91%EA%B5%AC--%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C--%EB%8C%80%ED%95%9C%EB%AF%BC%EA%B5%AD/homes?tab_id=home_tab&refinement_paths%5B%5D=%2Fhomes&price_filter_input_type=0&price_filter_num_nights=2&query=%EC%A4%91%EB%9E%91%EA%B5%AC%2C%20%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C&date_picker_type=flexible_dates&flexible_trip_dates%5B%5D=december&flexible_trip_dates%5B%5D=january&source=structured_search_input_header&search_type=autocomplete_click&flexible_trip_lengths%5B%5D=weekend_trip&place_id=ChIJWUd0flq6fDURt0PJ1_ZNip0'\\n         } #수집 url (dict)\\npage_no=[2, 2] #수집 \\n\""
      ]
     },
     "execution_count": 63,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\n",
    "#실제 수집용 값: 분석 목표 데이터셋. 반드시 테스트 후 주석 처리 해제하고 실행해주세요\n",
    "url_list={\n",
    "          #'마포구': 'https://www.airbnb.co.kr/s/%EB%A7%88%ED%8F%AC%EA%B5%AC--%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C--%EB%8C%80%ED%95%9C%EB%AF%BC%EA%B5%AD/homes?tab_id=home_tab&refinement_paths%5B%5D=%2Fhomes&price_filter_input_type=0&price_filter_num_nights=2&query=%EB%A7%88%ED%8F%AC%EA%B5%AC%2C%20%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C&place_id=ChIJIWguayCZfDURBR0f-llT68I&date_picker_type=flexible_dates&flexible_trip_dates%5B%5D=january&flexible_trip_dates%5B%5D=december&flexible_trip_lengths%5B%5D=weekend_trip&source=structured_search_input_header&search_type=filter_change',\n",
    "          #'중구': 'https://www.airbnb.co.kr/s/%EC%A4%91%EA%B5%AC--%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C/homes?tab_id=home_tab&refinement_paths%5B%5D=%2Fhomes&price_filter_input_type=0&price_filter_num_nights=2&date_picker_type=flexible_dates&flexible_trip_dates%5B%5D=december&flexible_trip_dates%5B%5D=january&flexible_trip_lengths%5B%5D=weekend_trip&source=structured_search_input_header&search_type=search_query', #중구\n",
    "          #'종로구': 'https://www.airbnb.co.kr/s/%EC%A2%85%EB%A1%9C%EA%B5%AC--%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C--%EB%8C%80%ED%95%9C%EB%AF%BC%EA%B5%AD/homes?tab_id=home_tab&refinement_paths%5B%5D=%2Fhomes&price_filter_input_type=0&price_filter_num_nights=2&date_picker_type=flexible_dates&flexible_trip_dates%5B%5D=december&flexible_trip_dates%5B%5D=january&flexible_trip_lengths%5B%5D=weekend_trip&source=structured_search_input_header&search_type=autocomplete_click&query=%EC%A2%85%EB%A1%9C%EA%B5%AC%2C%20%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C&place_id=ChIJS5wn3S-9fDUR5ly4ei6px1A',\n",
    "          '강남구': 'https://www.airbnb.co.kr/s/%EA%B0%95%EB%82%A8%EA%B5%AC--%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C--%EB%8C%80%ED%95%9C%EB%AF%BC%EA%B5%AD/homes?tab_id=home_tab&refinement_paths%5B%5D=%2Fhomes&price_filter_input_type=0&price_filter_num_nights=2&date_picker_type=flexible_dates&flexible_trip_dates%5B%5D=december&flexible_trip_dates%5B%5D=january&flexible_trip_lengths%5B%5D=weekend_trip&source=structured_search_input_header&search_type=autocomplete_click&query=%EA%B0%95%EB%82%A8%EA%B5%AC%2C%20%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C&place_id=ChIJ-4m1XyOkfDURartwxRuXMbM',\n",
    "          #'서대문구': 'https://www.airbnb.co.kr/s/%EC%84%9C%EB%8C%80%EB%AC%B8%EA%B5%AC--%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C--%EB%8C%80%ED%95%9C%EB%AF%BC%EA%B5%AD/homes?tab_id=home_tab&refinement_paths%5B%5D=%2Fhomes&price_filter_input_type=0&price_filter_num_nights=2&date_picker_type=flexible_dates&flexible_trip_dates%5B%5D=december&flexible_trip_dates%5B%5D=january&flexible_trip_lengths%5B%5D=weekend_trip&source=structured_search_input_header&search_type=autocomplete_click&query=%EC%84%9C%EB%8C%80%EB%AC%B8%EA%B5%AC%2C%20%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C&place_id=ChIJnQRRjmiYfDURXNqeJBtzWRE',\n",
    "          #'용산구': 'https://www.airbnb.co.kr/s/%EC%9A%A9%EC%82%B0%EA%B5%AC--%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C--%EB%8C%80%ED%95%9C%EB%AF%BC%EA%B5%AD/homes?tab_id=home_tab&refinement_paths%5B%5D=%2Fhomes&price_filter_input_type=0&price_filter_num_nights=2&date_picker_type=flexible_dates&flexible_trip_dates%5B%5D=december&flexible_trip_dates%5B%5D=january&flexible_trip_lengths%5B%5D=weekend_trip&source=structured_search_input_header&search_type=autocomplete_click&query=%EC%9A%A9%EC%82%B0%EA%B5%AC%2C%20%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C&place_id=ChIJ0z8xfjyifDURF7H5KqUsNKQ'\n",
    "          }\n",
    "page_no=[6]#12, 7, 7, 6, 5, 5]\n",
    "\n",
    "'''\n",
    "#테스트용 값: 코드 정상 작동 확인용. 확인 후 삭제 혹은 주석처리해주세요.\n",
    "url_list={'영등포구':'https://www.airbnb.co.kr/s/%EC%98%81%EB%93%B1%ED%8F%AC%EA%B5%AC--%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C--%EB%8C%80%ED%95%9C%EB%AF%BC%EA%B5%AD/homes?tab_id=home_tab&refinement_paths%5B%5D=%2Fhomes&price_filter_input_type=0&price_filter_num_nights=2&query=%EC%98%81%EB%93%B1%ED%8F%AC%EA%B5%AC%2C%20%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C&date_picker_type=flexible_dates&flexible_trip_dates%5B%5D=december&flexible_trip_dates%5B%5D=january&source=structured_search_input_header&search_type=autocomplete_click&place_id=ChIJk_FAvx2ffDURQAuECsjy0Cw&flexible_trip_lengths%5B%5D=weekend_trip',\n",
    "          '중랑구':'https://www.airbnb.co.kr/s/%EC%A4%91%EB%9E%91%EA%B5%AC--%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C--%EB%8C%80%ED%95%9C%EB%AF%BC%EA%B5%AD/homes?tab_id=home_tab&refinement_paths%5B%5D=%2Fhomes&price_filter_input_type=0&price_filter_num_nights=2&query=%EC%A4%91%EB%9E%91%EA%B5%AC%2C%20%EC%84%9C%EC%9A%B8%ED%8A%B9%EB%B3%84%EC%8B%9C&date_picker_type=flexible_dates&flexible_trip_dates%5B%5D=december&flexible_trip_dates%5B%5D=january&source=structured_search_input_header&search_type=autocomplete_click&flexible_trip_lengths%5B%5D=weekend_trip&place_id=ChIJWUd0flq6fDURt0PJ1_ZNip0'\n",
    "         } #수집 url (dict)\n",
    "page_no=[2, 2] #수집 \n",
    "'''"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "id": "d5fa7a47",
   "metadata": {},
   "outputs": [],
   "source": [
    "#housing type 반환 함수\n",
    "def get_housing_type(name):\n",
    "    '''숙소 이름 입력 --> 숙소 유형 반환 함수'''\n",
    "    housing_name=['전체$','아파트$', '집$','하우스$','주택$','개인실$', '객실$', '다인실$']\n",
    "    i=0\n",
    "    try:\n",
    "        while True:\n",
    "            match_result=re.search(housing_name[i], name)\n",
    "            if match_result!=None:\n",
    "                break\n",
    "            else:\n",
    "                i+=1\n",
    "        if i<=4:\n",
    "            t_housing_type=1 #'entire_home'\n",
    "        elif i<=6:\n",
    "            t_housing_type=2 #'private room'\n",
    "        elif i==7:\n",
    "            t_housing_type=3 #'shared room'\n",
    "        else:\n",
    "            t_housing_type='NA'\n",
    "    except:\n",
    "        t_housing_type=1\n",
    "    return t_housing_type"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "id": "e005a9ca",
   "metadata": {},
   "outputs": [],
   "source": [
    "#내부 정보 크롤링\n",
    "def get_information(driver):\n",
    "    global price\n",
    "    global rating\n",
    "    global nrat\n",
    "    global sh\n",
    "    global title\n",
    "    global housing_type\n",
    "    global cap\n",
    "    global bed\n",
    "    global room\n",
    "    global bath\n",
    "    global res_rate\n",
    "    global cert\n",
    "    global clean\n",
    "    global freeparking\n",
    "    global laundry\n",
    "    global camera\n",
    "    global review_list\n",
    "    global npho\n",
    "    global location\n",
    "\n",
    "    #번역 창 닫기\n",
    "    try:\n",
    "            driver.find_element_by_xpath('/html/body/div[9]/section/div/div/div[2]/div/div[1]/button').click() #번역 창 닫기\n",
    "            driver.implicitly_wait(1)\n",
    "    except NoSuchElementException:\n",
    "        try:\n",
    "            webdriver.ActionChains(driver).send_keys(Keys.ESCAPE).perform()\n",
    "        except:\n",
    "            dummy=0\n",
    "    \n",
    "    #가격\n",
    "    try:\n",
    "        price=int(driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[3]/div/div[2]/div/div/div[1]/div/div/div/div/div/div/div[2]/div/section/div[2]/div').text.replace('총 합계\\n₩','').replace(',',''))\n",
    "    except:\n",
    "        price='NA'\n",
    "    \n",
    "    #평점\n",
    "    try:    \n",
    "        rating=float(driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[1]/div[1]/div/div/div/div/section/div[2]/div[1]/span[1]/span[2]').text.replace(' ·',''))\n",
    "    except:\n",
    "        rating=3\n",
    "    \n",
    "    #평점 수\n",
    "    try:\n",
    "        nrat=int(driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[4]/div/div/div/div[2]/section/div[1]/span[2]/h2/div/span').text.split(sep=' · ')[-1].replace('후기 ','').replace('개',''))\n",
    "    except:\n",
    "        nrat='NA'\n",
    "    \n",
    "    #슈퍼호스트 여부\n",
    "    try:\n",
    "        sh_text=driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[1]/div[1]/div/div/div/div/section/div[2]/div[1]/span[3]/span[2]').text\n",
    "        sh=1\n",
    "    except NoSuchElementException:\n",
    "        sh=0\n",
    "    \n",
    "    #숙소 이름\n",
    "    title = driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[1]/div[1]/div/div/div/div/section/div[1]/span').text\n",
    "    \n",
    "    #숙소 유형\n",
    "    housing_name=driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[3]/div/div[1]/div/div[1]/div/div/section/div/div/div/div[1]/div/h2').text\n",
    "    housing_type=get_housing_type(housing_name)\n",
    "    \n",
    "    \n",
    "    #숙박인원/침대/침실/욕실\n",
    "    amen_list=driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[3]/div/div[1]/div/div[1]/div/div/section/div/div/div/div[1]/ol').text.split(sep=' · ')\n",
    "    try:\n",
    "        cap=int(amen_list[0].replace('최대 인원 ','').replace('명',''))\n",
    "    except ValueError:\n",
    "        cap='NA'\n",
    "\n",
    "    if amen_list[1]=='원룸':\n",
    "        room=0\n",
    "    else:\n",
    "        room=float(amen_list[1].replace('침실 ','').replace('개',''))\n",
    "\n",
    "    try:\n",
    "        for i in range(len(amen_list)):\n",
    "            if re.search('침대',amen_list[i])==None:\n",
    "                bed=0 if room==0 else 1\n",
    "            else:\n",
    "                bed=float(amen_list[i].replace('침대 ','').replace('개',''))\n",
    "    except:\n",
    "        bed='NA'\n",
    "\n",
    "    try:\n",
    "        for i in range(len(amen_list)):\n",
    "            if re.search('욕실',amen_list[i])==None:\n",
    "                bath=0\n",
    "            elif amen_list[i]=='간이 욕실' :\n",
    "                    bath=1\n",
    "            else:\n",
    "                    bath=float(amen_list[i].replace('단독 사용 ','').replace('공동 사용 ','').replace('욕실 ','').replace('개',''))\n",
    "    except:\n",
    "        bath='NA'\n",
    "                \n",
    "    \n",
    "    #응답률\n",
    "    try:\n",
    "        res_rate=int(driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[6]/div/div/div/div[2]/div/section/div[2]/div[2]/ul/li[1]/span').text.replace('%',''))\n",
    "    except:\n",
    "        try:\n",
    "            res_rate=int(driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[6]/div/div/div/div[2]/div/section/div[2]/div[2]/ul/li[2]/span').text.replace('%',''))\n",
    "        except:\n",
    "            try:\n",
    "                res_rate=int(driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[6]/div/div/div/div[2]/div/section/div[2]/div/ul/li[1]/span').text.replace('%',''))\n",
    "            except:\n",
    "                res_rate='NA'\n",
    "    \n",
    "    #본인인증 여부\n",
    "    try:\n",
    "        driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[6]/div/div/div/div[2]/div/section/div[2]/div[1]/div[1]/ul/li[2]/div').text\n",
    "        cert=1\n",
    "    except NoSuchElementException:\n",
    "        cert=0\n",
    "        \n",
    "    #청소비\n",
    "    try:\n",
    "        prices=driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[3]/div/div[2]/div/div/div[1]/div/div/div/div/div/div/div[2]/div/section/div[1]').text.split(sep='\\n')\n",
    "        clean=1 if '청소비' in prices else 0\n",
    "    except NoSuchElementException:\n",
    "        clean='NA'\n",
    "    \n",
    "    \n",
    "    #편의시설 (보안카메라, 세탁기, 주차)\n",
    "    driver.implicitly_wait(2)\n",
    "    try:\n",
    "        element = driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[3]/div/div[1]/div/div[6]/div/div[2]/section/div[2]/div/h2') #편의시설\n",
    "        driver.execute_script(\"arguments[0].scrollIntoView();\", element)\n",
    "        driver.implicitly_wait(2)\n",
    "    except:\n",
    "        dummy=0\n",
    "    try:\n",
    "        driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[3]/div/div[1]/div/div[7]/div/div[2]/section/div[4]/button').click() #시설 더보기\n",
    "    except NoSuchElementException:\n",
    "        try:\n",
    "            driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[3]/div/div[1]/div/div[6]/div/div[2]/section/div[4]/button').click()\n",
    "        except NoSuchElementException:\n",
    "            try:\n",
    "                driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[3]/div/div[1]/div/div[5]/div/div[2]/section/div[4]/button').click()\n",
    "            except:\n",
    "                try:\n",
    "                    driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[3]/div/div[1]/div/div[4]/div/div[2]/section/div[4]/button').click()\n",
    "                except:\n",
    "                    try:\n",
    "                        driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[3]/div/div[1]/div/div[3]/div/div[2]/section/div[4]/button').click()\n",
    "                    except:\n",
    "                        try:\n",
    "                            driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[3]/div/div[1]/div/div[2]/div/div[2]/section/div[4]/button').click()\n",
    "                        except:\n",
    "                            try:\n",
    "                                driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[3]/div/div[1]/div/div[1]/div/div[2]/section/div[4]/button').click()\n",
    "                            except:\n",
    "                                dummy=0\n",
    "    driver.implicitly_wait(2)\n",
    "    amen_text=driver.find_element_by_xpath('/html/body/div[9]/section/div/div/div[2]/div/div[3]').text #편의시설 텍스트화\n",
    "    amen_list=amen_text.split(sep='\\n')\n",
    "    freeparking=1 if '건물 내 무료 주차' in amen_list else 0\n",
    "    laundry=1 if ('세탁기' in amen_list) & ('이용 불가: 세탁기' not in amen_list) else 0\n",
    "    camera=1 if ('숙소 내 보안 카메라' in amen_list) & ('이용 불가: 숙소 내 보안 카메라' not in amen_list) else 0\n",
    "    driver.implicitly_wait(3)\n",
    "    try:\n",
    "        driver.find_element_by_xpath('/html/body/div[9]/section/div/div/div[2]/div/div[1]/button/span').click() #시설 더보기 닫기\n",
    "    except:\n",
    "        try:\n",
    "            element = driver.find_element_by_xpath('/html/body/div[9]/section/div/div/div[2]/div/div[1]/button/span').click()\n",
    "            webdriver.ActionChains(driver).move_to_element(element ).click(element ).perform()\n",
    "        except:\n",
    "            element = driver.find_element_by_xpath('/html/body/div[9]/section/div/div/div[2]/div/div[1]/button/span').click()\n",
    "            driver.execute_script(\"arguments[0].click();\", element)\n",
    "    driver.implicitly_wait(2)\n",
    "    \n",
    "    #리뷰 가져오기: 스크롤 없이 한 번에 로드되는 만큼만\n",
    "    review_list=[]\n",
    "    try: #리뷰 개수 7개 이상\n",
    "        driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[4]/div/div/div/div[2]/section/div[4]/button').click() #리뷰 더보기\n",
    "        driver.implicitly_wait(2)\n",
    "        element = driver.find_element_by_xpath('/html/body/div[9]/section/div/div/div[2]/div/div[1]') #리뷰 더보기 닫기\n",
    "        webdriver.ActionChains(driver).move_to_element(element ).click(element ).perform()\n",
    "        driver.implicitly_wait(2)\n",
    "        element = driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[4]/div/div/div/div[2]/section/div[4]/button') #리뷰 더보기 다시\n",
    "        webdriver.ActionChains(driver).move_to_element(element ).click(element ).perform()\n",
    "        driver.implicitly_wait(2)\n",
    "        for i in range(15):\n",
    "            try:\n",
    "                review_text=driver.find_element_by_xpath('/html/body/div[9]/section/div/div/div[2]/div/div[3]/div/div/div/div/section/div/div[2]/div[2]/div['+str(i+1)+']/div[2]').text.replace('\\n',' ')\n",
    "                review_list.append(review_text)\n",
    "            except:\n",
    "                break           \n",
    "    except: #리뷰 개수 6개 이하\n",
    "        for i in range(6):\n",
    "            try:\n",
    "                review_text=driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[4]/div/div/div/div[2]/section/div[3]/div/div/div['+str(i+1)+']/div/div[2]').text\n",
    "                review_list.append(review_text)\n",
    "            except:\n",
    "                continue\n",
    "    driver.implicitly_wait(1)\n",
    "    try:\n",
    "        driver.find_element_by_xpath('/html/body/div[9]/section/div/div/div[2]/div/div[1]/button').click()\n",
    "    except:\n",
    "        try:\n",
    "            webdriver.ActionChains(driver).send_keys(Keys.ESCAPE).perform()\n",
    "        except:\n",
    "            dummy=0\n",
    "    driver.implicitly_wait(7)\n",
    "    \n",
    "    #위치 정보(위도, 경도)\n",
    "    element = driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[5]/div/div/div/div[2]/div/section/div[1]') #지도\n",
    "    driver.execute_script(\"arguments[0].scrollIntoView();\", element)\n",
    "    driver.implicitly_wait(2)\n",
    "    try:\n",
    "        driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[5]/div/div/div/div[2]/div/section/div[3]/div[4]/div/div/div/div[14]/div/a').click()\n",
    "        p = driver.current_window_handle\n",
    "        chwd = driver.window_handles\n",
    "        for w in chwd:\n",
    "            if(w!=p):\n",
    "                driver.switch_to.window(w)\n",
    "        map_url=driver.current_url\n",
    "        location=map_url.split(sep='&')[0].replace('https://www.google.com/maps?ll=','').split(sep=',')\n",
    "        driver.close() #지도 탭 닫기\n",
    "        driver.switch_to.window(p) #개별 숙소 페이지로 돌아옴\n",
    "    except:\n",
    "        location='NA'\n",
    "        \n",
    "    driver.set_window_size(510,1080) #창 크기 변경\n",
    "    try:\n",
    "        npho=int(driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[2]/div/div/div/div/div/span').text.replace('전체 ','').replace('장 중 1번째 사진 표시',''))\n",
    "    except:\n",
    "        npho='NA'\n",
    "    driver.maximize_window() #다시 창 최대화\n",
    "\n",
    "    #아직 구현 못한 것들\n",
    "        #감성분석값: review_score\n",
    "    \n",
    "    return price, rating, nrat, sh, title, housing_type, cap, bed, room, bath, res_rate, cert, clean, freeparking, laundry, camera,review_list, npho, location"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ec0ea6f2",
   "metadata": {},
   "source": [
    "## 스크래핑 코드\n",
    "line 24의 range()안의 값은 **한 페이지 안에서 몇 개의 숙소를 가져올 지**를 의미하는데, 수집 시에는 20을 사용해야 합니다.\n",
    "\n",
    "실제 수집 전 테스트용으로 돌려 볼 때는 값을 '2' 정도로 줄여서 돌려 보는 게 좋습니다.\n",
    "\n",
    "현재 확인된 문제점\n",
    "* 처음 수집하는 숙소의 가격, 리뷰 수, 응답률이 반환되지 않는 문제. 수동으로 결측치 처리 필요\n",
    "* 수집에 1분 이상 걸리는 숙소가 일부 존재. 에러 토하지 않는 한 그냥 두면 돌아감"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "id": "f8ec9939",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "\n",
      "=============================\n",
      "강남구 숙소 정보 수집 시작\n",
      "=============================\n",
      "\n",
      "\n",
      "1/6번째 페이지 로드\n",
      "\n",
      "1/20번째 숙소 정보 수집 시작\n",
      "\n",
      "2/20번째 숙소 정보 수집 시작\n",
      "\n",
      "3/20번째 숙소 정보 수집 시작\n",
      "\n",
      "4/20번째 숙소 정보 수집 시작\n",
      "\n",
      "5/20번째 숙소 정보 수집 시작\n",
      "\n",
      "6/20번째 숙소 정보 수집 시작\n",
      "\n",
      "7/20번째 숙소 정보 수집 시작\n",
      "\n",
      "8/20번째 숙소 정보 수집 시작\n",
      "\n",
      "9/20번째 숙소 정보 수집 시작\n",
      "\n",
      "10/20번째 숙소 정보 수집 시작\n",
      "\n",
      "11/20번째 숙소 정보 수집 시작\n",
      "\n",
      "12/20번째 숙소 정보 수집 시작\n",
      "\n",
      "13/20번째 숙소 정보 수집 시작\n",
      "\n",
      "14/20번째 숙소 정보 수집 시작\n",
      "\n",
      "15/20번째 숙소 정보 수집 시작\n",
      "\n",
      "16/20번째 숙소 정보 수집 시작\n",
      "\n",
      "17/20번째 숙소 정보 수집 시작\n",
      "\n",
      "18/20번째 숙소 정보 수집 시작\n",
      "\n",
      "19/20번째 숙소 정보 수집 시작\n",
      "\n",
      "20/20번째 숙소 정보 수집 시작\n",
      "1page export complete\n",
      "\n",
      " 강남구 숙소 20개 수집 완료\n",
      "\n",
      "2/6번째 페이지 로드\n",
      "\n",
      "1/20번째 숙소 정보 수집 시작\n",
      "\n",
      "2/20번째 숙소 정보 수집 시작\n",
      "\n",
      "3/20번째 숙소 정보 수집 시작\n",
      "\n",
      "4/20번째 숙소 정보 수집 시작\n",
      "\n",
      "5/20번째 숙소 정보 수집 시작\n",
      "\n",
      "6/20번째 숙소 정보 수집 시작\n",
      "\n",
      "7/20번째 숙소 정보 수집 시작\n",
      "\n",
      "8/20번째 숙소 정보 수집 시작\n",
      "\n",
      "9/20번째 숙소 정보 수집 시작\n",
      "\n",
      "10/20번째 숙소 정보 수집 시작\n",
      "\n",
      "11/20번째 숙소 정보 수집 시작\n",
      "\n",
      "12/20번째 숙소 정보 수집 시작\n",
      "\n",
      "13/20번째 숙소 정보 수집 시작\n",
      "\n",
      "14/20번째 숙소 정보 수집 시작\n",
      "\n",
      "15/20번째 숙소 정보 수집 시작\n",
      "\n",
      "16/20번째 숙소 정보 수집 시작\n",
      "\n",
      "17/20번째 숙소 정보 수집 시작\n",
      "\n",
      "18/20번째 숙소 정보 수집 시작\n",
      "\n",
      "19/20번째 숙소 정보 수집 시작\n",
      "\n",
      "20/20번째 숙소 정보 수집 시작\n",
      "2page export complete\n",
      "\n",
      " 강남구 숙소 40개 수집 완료\n",
      "\n",
      "3/6번째 페이지 로드\n",
      "\n",
      "1/20번째 숙소 정보 수집 시작\n",
      "\n",
      "2/20번째 숙소 정보 수집 시작\n",
      "\n",
      "3/20번째 숙소 정보 수집 시작\n",
      "\n",
      "4/20번째 숙소 정보 수집 시작\n",
      "\n",
      "5/20번째 숙소 정보 수집 시작\n",
      "\n",
      "6/20번째 숙소 정보 수집 시작\n",
      "\n",
      "7/20번째 숙소 정보 수집 시작\n",
      "\n",
      "8/20번째 숙소 정보 수집 시작\n",
      "\n",
      "9/20번째 숙소 정보 수집 시작\n",
      "\n",
      "10/20번째 숙소 정보 수집 시작\n",
      "\n",
      "11/20번째 숙소 정보 수집 시작\n",
      "\n",
      "12/20번째 숙소 정보 수집 시작\n",
      "\n",
      "13/20번째 숙소 정보 수집 시작\n",
      "\n",
      "14/20번째 숙소 정보 수집 시작\n",
      "\n",
      "15/20번째 숙소 정보 수집 시작\n",
      "\n",
      "16/20번째 숙소 정보 수집 시작\n",
      "\n",
      "17/20번째 숙소 정보 수집 시작\n",
      "\n",
      "18/20번째 숙소 정보 수집 시작\n",
      "\n",
      "19/20번째 숙소 정보 수집 시작\n",
      "\n",
      "20/20번째 숙소 정보 수집 시작\n",
      "3page export complete\n",
      "\n",
      " 강남구 숙소 60개 수집 완료\n",
      "\n",
      "4/6번째 페이지 로드\n",
      "\n",
      "1/20번째 숙소 정보 수집 시작\n",
      "\n",
      "2/20번째 숙소 정보 수집 시작\n",
      "\n",
      "3/20번째 숙소 정보 수집 시작\n",
      "\n",
      "4/20번째 숙소 정보 수집 시작\n",
      "\n",
      "5/20번째 숙소 정보 수집 시작\n",
      "\n",
      "6/20번째 숙소 정보 수집 시작\n",
      "\n",
      "7/20번째 숙소 정보 수집 시작\n",
      "\n",
      "8/20번째 숙소 정보 수집 시작\n",
      "\n",
      "9/20번째 숙소 정보 수집 시작\n",
      "\n",
      "10/20번째 숙소 정보 수집 시작\n",
      "\n",
      "11/20번째 숙소 정보 수집 시작\n",
      "\n",
      "12/20번째 숙소 정보 수집 시작\n",
      "\n",
      "13/20번째 숙소 정보 수집 시작\n",
      "\n",
      "14/20번째 숙소 정보 수집 시작\n",
      "\n",
      "15/20번째 숙소 정보 수집 시작\n",
      "\n",
      "16/20번째 숙소 정보 수집 시작\n",
      "\n",
      "17/20번째 숙소 정보 수집 시작\n",
      "\n",
      "18/20번째 숙소 정보 수집 시작\n",
      "\n",
      "19/20번째 숙소 정보 수집 시작\n",
      "\n",
      "20/20번째 숙소 정보 수집 시작\n",
      "4page export complete\n",
      "\n",
      " 강남구 숙소 80개 수집 완료\n",
      "\n",
      "5/6번째 페이지 로드\n",
      "\n",
      "1/20번째 숙소 정보 수집 시작\n",
      "\n",
      "2/20번째 숙소 정보 수집 시작\n",
      "\n",
      "3/20번째 숙소 정보 수집 시작\n",
      "\n",
      "4/20번째 숙소 정보 수집 시작\n",
      "\n",
      "5/20번째 숙소 정보 수집 시작\n",
      "\n",
      "6/20번째 숙소 정보 수집 시작\n",
      "\n",
      "7/20번째 숙소 정보 수집 시작\n",
      "\n",
      "8/20번째 숙소 정보 수집 시작\n",
      "\n",
      "9/20번째 숙소 정보 수집 시작\n",
      "\n",
      "10/20번째 숙소 정보 수집 시작\n",
      "\n",
      "11/20번째 숙소 정보 수집 시작\n",
      "\n",
      "12/20번째 숙소 정보 수집 시작\n",
      "\n",
      "13/20번째 숙소 정보 수집 시작\n",
      "\n",
      "14/20번째 숙소 정보 수집 시작\n",
      "\n",
      "15/20번째 숙소 정보 수집 시작\n",
      "\n",
      "16/20번째 숙소 정보 수집 시작\n",
      "\n",
      "17/20번째 숙소 정보 수집 시작\n",
      "\n",
      "18/20번째 숙소 정보 수집 시작\n",
      "\n",
      "19/20번째 숙소 정보 수집 시작\n",
      "\n",
      "20/20번째 숙소 정보 수집 시작\n",
      "5page export complete\n",
      "\n",
      " 강남구 숙소 100개 수집 완료\n",
      "\n",
      "6/6번째 페이지 로드\n",
      "\n",
      "1/20번째 숙소 정보 수집 시작\n",
      "\n",
      "2/20번째 숙소 정보 수집 시작\n",
      "\n",
      "3/20번째 숙소 정보 수집 시작\n",
      "\n",
      "4/20번째 숙소 정보 수집 시작\n",
      "\n",
      "5/20번째 숙소 정보 수집 시작\n",
      "\n",
      "6/20번째 숙소 정보 수집 시작\n",
      "\n",
      "7/20번째 숙소 정보 수집 시작\n",
      "\n",
      "8/20번째 숙소 정보 수집 시작\n",
      "\n",
      "9/20번째 숙소 정보 수집 시작\n",
      "\n",
      "10/20번째 숙소 정보 수집 시작\n",
      "\n",
      "11/20번째 숙소 정보 수집 시작\n",
      "\n",
      "12/20번째 숙소 정보 수집 시작\n",
      "\n",
      "13/20번째 숙소 정보 수집 시작\n",
      "\n",
      "14/20번째 숙소 정보 수집 시작\n",
      "\n",
      "15/20번째 숙소 정보 수집 시작\n",
      "\n",
      "16/20번째 숙소 정보 수집 시작\n",
      "\n",
      "17/20번째 숙소 정보 수집 시작\n",
      "\n",
      "18/20번째 숙소 정보 수집 시작\n",
      "\n",
      "19/20번째 숙소 정보 수집 시작\n",
      "\n",
      "20/20번째 숙소 정보 수집 시작\n",
      "6page export complete\n",
      "\n",
      " 강남구 숙소 120개 수집 완료\n",
      "\n",
      "===========================\n",
      "강남구 숙소 정보 수집 완료\n",
      "===========================\n",
      "잠시 휴식\n",
      "수집 완료: (120, 21)\n"
     ]
    }
   ],
   "source": [
    "driver=webdriver.Chrome(path) #inititialize\n",
    "driver.implicitly_wait(2)\n",
    "driver.maximize_window()\n",
    "\n",
    "houseinfo=pd.DataFrame(columns=\n",
    "                       ['gu','price', 'rating', 'nrat', 'sh', 'title', 'housing_type',\\\n",
    "                        'cap', 'bed', 'room', 'bath', 'res_rate', 'cert', 'clean', 'freeparking',\\\n",
    "                        'laundry', 'camera','review_list', 'npho','location','url'])\n",
    "\n",
    "for i in range(len(url_list)): #구 단위 반복\n",
    "    print('\\n\\n=============================\\n{} 숙소 정보 수집 시작\\n=============================\\n'.format(list(url_list.keys())[i]))\n",
    "    url=(list(url_list.values())[i])\n",
    "    gu=list(url_list.keys())[i]\n",
    "    driver.get(url)\n",
    "    time.sleep(2)\n",
    "    wait=WebDriverWait(driver,4) #1페이지 로드 완료\n",
    "    \n",
    "    for j in range(int(page_no[i-1])): #페이지 단위 반복\n",
    "        print('\\n{}/{}번째 페이지 로드'.format(j+1,int(page_no[i])))\n",
    "        original_window=driver.current_window_handle #목록 페이지\n",
    "    \n",
    "    \n",
    "        #i페이지에서 개별 숙소 정보 수집\n",
    "        for k in range(20): #개별 숙소마다 반복. 한 페이지에 숙소 몇 개 수집할 지\n",
    "            driver.find_element_by_xpath('//*[@id=\"site-content\"]/div[2]/div[3]/div/div/div/div/div/div['+str(k+1)+']/div/div[2]/div/div/div/div[1]/div').click() #숙소 클릭\n",
    "            wait.until(EC.number_of_windows_to_be(2)) #창 두개 뜰 때까지 대기\n",
    "            for window_handle in driver.window_handles: #Loop until finding a new window handle\n",
    "                if window_handle!=original_window:\n",
    "                    driver.switch_to.window(window_handle)\n",
    "                    print('\\n{}/20번째 숙소 정보 수집 시작'.format(k+1))\n",
    "                    break\n",
    "            time.sleep(3)\n",
    "\n",
    "            house_url=driver.current_url #개별 숙소 url\n",
    "            #print(house_url)\n",
    "            get_information(driver)\n",
    "            houseinfo=houseinfo.append(pd.DataFrame([[gu, price, rating, nrat, sh, title, housing_type, cap, bed, room, bath, res_rate, cert, clean, freeparking, laundry, camera,review_list, npho, location, house_url]],columns=houseinfo.columns),ignore_index=True)\n",
    "            driver.close() #개별 숙소 탭 닫기\n",
    "            driver.switch_to.window(original_window) #숙소 목록 페이지로 돌아옴\n",
    "            driver.implicitly_wait(1)\n",
    "        houseinfo.to_csv('C:\\\\Users\\\\ihoon\\\\Documents\\\\skk\\\\DSCover\\\\housbeinfo_ganganamgu.csv')\n",
    "        print('{}page export complete'.format(j+1))\n",
    "        print('\\n {} 숙소 {}개 수집 완료'.format(list(url_list.keys())[i],(j+1)*20))\n",
    "        driver.implicitly_wait(3) #크롤링 방지 회피용\n",
    "        driver.find_element_by_xpath('//*[@id=\"site-content\"]/div[2]/div[4]/div/div/nav/div/a[5]').click() #다음 페이지로 이동\n",
    "        driver.implicitly_wait(10)\n",
    "    print('\\n===========================\\n{} 숙소 정보 수집 완료\\n==========================='.format(list(url_list.keys())[i]))\n",
    "    driver.implicitly_wait(10) #크롤링 방지 회피용\n",
    "    print('잠시 휴식')\n",
    "\n",
    "print('수집 완료: {}'.format(houseinfo.shape))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "id": "18642579",
   "metadata": {},
   "outputs": [],
   "source": [
    "#결과\n",
    "houseinfo.head"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "id": "0b5c9096",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['최대 인원 2명', '침실 1개', '침대 1개', '욕실 1개'] 2 1.0 1 NA\n"
     ]
    }
   ],
   "source": [
    "#단일 숙소 내에서 작동 테스트할때 사용...\n",
    "driver=webdriver.Chrome(path) #inititialize\n",
    "driver.implicitly_wait(2)\n",
    "driver.maximize_window()\n",
    "url='https://www.airbnb.co.kr/rooms/662684816471147330?adults=1&children=0&infants=0&pets=0&check_in=2023-01-06&check_out=2023-01-08&source_impression_id=p3_1669272544_akliRjBajxevZ0JE'\n",
    "driver.get(url)\n",
    "\n",
    "amen_list=driver.find_element_by_xpath('//*[@id=\"site-content\"]/div/div[1]/div[3]/div/div[1]/div/div[1]/div/div/section/div/div/div/div[1]/ol').text.split(sep=' · ')\n",
    "cap=int(amen_list[0].replace('최대 인원 ','').replace('명',''))\n",
    "\n",
    "if amen_list[1]=='원룸':\n",
    "    room=0\n",
    "else:\n",
    "    room=float(amen_list[1].replace('침실 ','').replace('개',''))\n",
    "\n",
    "try:\n",
    "    for i in range(len(amen_list)):\n",
    "        if re.search('침대',amen_list[i])==None:\n",
    "            bed=0 if room==0 else 1\n",
    "        else:\n",
    "            bed=float(amen_list[i].replace('침대 ','').replace('개',''))\n",
    "except:\n",
    "    bed='NA'\n",
    "\n",
    "try:\n",
    "    for i in range(len(amen_list)):\n",
    "        if re.search('욕실',amen_list[i])==None:\n",
    "            bath=0\n",
    "        elif amen_list[i]=='간이 욕실' :\n",
    "                bath=1\n",
    "        else:\n",
    "                bath=float(amen_list[i].replace('단독 사용 ','').replace('공동 사용 ','').replace('욕실 ','').replace('개',''))\n",
    "except:\n",
    "    bath='NA'\n",
    "                \n",
    "print(amen_list, cap, room, bed, bath)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "ce31ff5d",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "bed"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}