데이터 수집 및 전처리 코드.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Requirement already satisfied: googlemaps in c:\\users\\hoeun\\anaconda3\\lib\\site-packages (4.6.0)\n",
      "Requirement already satisfied: requests<3.0,>=2.20.0 in c:\\users\\hoeun\\anaconda3\\lib\\site-packages (from googlemaps) (2.25.1)\n",
      "Requirement already satisfied: idna<3,>=2.5 in c:\\users\\hoeun\\anaconda3\\lib\\site-packages (from requests<3.0,>=2.20.0->googlemaps) (2.10)\n",
      "Requirement already satisfied: urllib3<1.27,>=1.21.1 in c:\\users\\hoeun\\anaconda3\\lib\\site-packages (from requests<3.0,>=2.20.0->googlemaps) (1.26.4)\n",
      "Requirement already satisfied: certifi>=2017.4.17 in c:\\users\\hoeun\\anaconda3\\lib\\site-packages (from requests<3.0,>=2.20.0->googlemaps) (2020.12.5)\n",
      "Requirement already satisfied: chardet<5,>=3.0.2 in c:\\users\\hoeun\\anaconda3\\lib\\site-packages (from requests<3.0,>=2.20.0->googlemaps) (4.0.0)\n",
      "^C\n",
      "Requirement already satisfied: haversine in c:\\users\\hoeun\\anaconda3\\lib\\site-packages (2.6.0)\n"
     ]
    }
   ],
   "source": [
    "! pip install googlemaps\n",
    "! pip install haversine\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "import datetime as dt\n",
    "from pytimekr import pytimekr\n",
    "import requests\n",
    "import googlemaps\n",
    "import json\n",
    "from haversine import haversine, Unit\n",
    "import folium\n",
    "from folium.plugins import MarkerCluster"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<span style=\"color:red\"> df_vc에 추가되는 데이터는 전부 df_vc이름으로 다시 통일.(각 코드마다 이름 달랐던거 수정)  반경 500미터만</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 강남구"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 원본 파일에서 사용할 데이터 1차적으로 필터링\n",
    "데이터 : '공공데이터포털'에서 다운로드한 '서울특별시 강남구_주정차위반단속위치현황_10/28/2021' 파일  \n",
    "원본에서 2019/01/01 - 2021/05/31 기간의 ['단속일시','단속동','장소','단속구분'] 컬럼만 사용.\n",
    "- 단속구분이 ['CCTV', '고정형 CCTV', '생활불편앱(행안부)', '스마트앱(서울시)', '시민신고', '시민신고웹', '안전신문고(행안부)']인 데이터만 사용\n",
    "- PDA 및 나머지 구분은 유동적으로 단속하므로 노이즈로 간주하고 사용 안함."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>단속일시</th>\n",
       "      <th>단속동</th>\n",
       "      <th>장소</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>2019-01-01 09:11:00</td>\n",
       "      <td>대치2동</td>\n",
       "      <td>서울특별시 강남구 대치2동 삼성로 부근</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2019-01-01 09:20:00</td>\n",
       "      <td>삼성2동</td>\n",
       "      <td>서울특별시 강남구 삼성2동 봉은사로 부근</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2019-01-01 09:22:00</td>\n",
       "      <td>역삼1동</td>\n",
       "      <td>서울특별시 강남구 역삼1동 봉은사로48길 부근</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>2019-01-01 09:24:00</td>\n",
       "      <td>대치2동</td>\n",
       "      <td>서울특별시 강남구 대치2동 삼성로 부근</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>2019-01-01 09:31:00</td>\n",
       "      <td>청담동</td>\n",
       "      <td>서울특별시 강남구 청담동 삼성로134길 부근</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>177817</th>\n",
       "      <td>2021-05-31 21:32:00</td>\n",
       "      <td>역삼동</td>\n",
       "      <td>서울특별시 강남구 역삼동 804</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>177818</th>\n",
       "      <td>2021-05-31 21:55:00</td>\n",
       "      <td>일원동</td>\n",
       "      <td>서울특별시 강남구 일원동 732</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>177819</th>\n",
       "      <td>2021-05-31 21:55:00</td>\n",
       "      <td>대치동</td>\n",
       "      <td>서울특별시 강남구 대치동 398</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>177820</th>\n",
       "      <td>2021-05-31 23:07:00</td>\n",
       "      <td>개포동</td>\n",
       "      <td>서울특별시 강남구 개포동 185</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>177821</th>\n",
       "      <td>2021-05-31 23:07:00</td>\n",
       "      <td>개포동</td>\n",
       "      <td>서울특별시 강남구 개포동 185</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>177822 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                      단속일시   단속동                         장소\n",
       "0      2019-01-01 09:11:00  대치2동      서울특별시 강남구 대치2동 삼성로 부근\n",
       "1      2019-01-01 09:20:00  삼성2동     서울특별시 강남구 삼성2동 봉은사로 부근\n",
       "2      2019-01-01 09:22:00  역삼1동  서울특별시 강남구 역삼1동 봉은사로48길 부근\n",
       "3      2019-01-01 09:24:00  대치2동      서울특별시 강남구 대치2동 삼성로 부근\n",
       "4      2019-01-01 09:31:00   청담동   서울특별시 강남구 청담동 삼성로134길 부근\n",
       "...                    ...   ...                        ...\n",
       "177817 2021-05-31 21:32:00   역삼동          서울특별시 강남구 역삼동 804\n",
       "177818 2021-05-31 21:55:00   일원동          서울특별시 강남구 일원동 732\n",
       "177819 2021-05-31 21:55:00   대치동          서울특별시 강남구 대치동 398\n",
       "177820 2021-05-31 23:07:00   개포동          서울특별시 강남구 개포동 185\n",
       "177821 2021-05-31 23:07:00   개포동          서울특별시 강남구 개포동 185\n",
       "\n",
       "[177822 rows x 3 columns]"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.read_csv('./서울특별시 강남구_주정차위반단속위치현황_10_28_2021.csv', encoding = 'CP949')\n",
    "df['장소']=df.시군명 + ' ' + df.관리기관명 + ' ' + df.단속동 + ' ' + df.단속장소 #강남구 데이터는 단속 장소가 분할되어 있어서 하나의 컬럼으로 합쳐줌.\n",
    "df.drop(['집계년도','시군명','시군코드','관리기관명','단속장소'], axis = 1, inplace = True) #'장소' 컬럼을 만들고 난 후 필요없는 컬럼 삭제\n",
    "df.단속일시 = pd.to_datetime(df.단속일시, format = '%Y-%m-%d %H:%M')\n",
    "df = df[(df.단속일시 >= '2019-01-01') & (df.단속일시 <= '2021-06-01')].reset_index(drop = True) #분석에 사용할 기간의 데이터만 남기기\n",
    "df= df[['단속일시','단속동','장소','단속구분']]\n",
    "df= df[df.단속구분.isin(['CCTV', '고정형 CCTV', '생활불편앱(행안부)', '스마트앱(서울시)', '시민신고', '시민신고웹', '안전신문고(행안부)'])]\n",
    "df.drop(['단속구분'], axis = 1, inplace = True)\n",
    "df.drop(index = df[df.장소.isnull()].index, inplace = True) #장소 NaN값 있는 행 삭제\n",
    "df = df.reset_index(drop=True)\n",
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 단속일시로 평휴일 컬럼 추가\n",
    "pytimekr에서 연도별 공휴일 날짜 정보 가져와서 휴일로 처리"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "<ipython-input-4-79639c239a68>:11: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n",
      "  df['평휴일'][i] = '평일'\n",
      "<ipython-input-4-79639c239a68>:9: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n",
      "  df['평휴일'][i] = '휴일'\n",
      "<ipython-input-4-79639c239a68>:21: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n",
      "  df['평휴일'][row] = '휴일'\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>단속일시</th>\n",
       "      <th>단속동</th>\n",
       "      <th>장소</th>\n",
       "      <th>평휴일</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>2019-01-01 09:11:00</td>\n",
       "      <td>대치2동</td>\n",
       "      <td>서울특별시 강남구 대치2동 삼성로 부근</td>\n",
       "      <td>휴일</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2019-01-01 09:20:00</td>\n",
       "      <td>삼성2동</td>\n",
       "      <td>서울특별시 강남구 삼성2동 봉은사로 부근</td>\n",
       "      <td>휴일</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2019-01-01 09:22:00</td>\n",
       "      <td>역삼1동</td>\n",
       "      <td>서울특별시 강남구 역삼1동 봉은사로48길 부근</td>\n",
       "      <td>휴일</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>2019-01-01 09:24:00</td>\n",
       "      <td>대치2동</td>\n",
       "      <td>서울특별시 강남구 대치2동 삼성로 부근</td>\n",
       "      <td>휴일</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>2019-01-01 09:31:00</td>\n",
       "      <td>청담동</td>\n",
       "      <td>서울특별시 강남구 청담동 삼성로134길 부근</td>\n",
       "      <td>휴일</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>177817</th>\n",
       "      <td>2021-05-31 21:32:00</td>\n",
       "      <td>역삼동</td>\n",
       "      <td>서울특별시 강남구 역삼동 804</td>\n",
       "      <td>평일</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>177818</th>\n",
       "      <td>2021-05-31 21:55:00</td>\n",
       "      <td>일원동</td>\n",
       "      <td>서울특별시 강남구 일원동 732</td>\n",
       "      <td>평일</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>177819</th>\n",
       "      <td>2021-05-31 21:55:00</td>\n",
       "      <td>대치동</td>\n",
       "      <td>서울특별시 강남구 대치동 398</td>\n",
       "      <td>평일</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>177820</th>\n",
       "      <td>2021-05-31 23:07:00</td>\n",
       "      <td>개포동</td>\n",
       "      <td>서울특별시 강남구 개포동 185</td>\n",
       "      <td>평일</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>177821</th>\n",
       "      <td>2021-05-31 23:07:00</td>\n",
       "      <td>개포동</td>\n",
       "      <td>서울특별시 강남구 개포동 185</td>\n",
       "      <td>평일</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>177822 rows × 4 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                      단속일시   단속동                         장소 평휴일\n",
       "0      2019-01-01 09:11:00  대치2동      서울특별시 강남구 대치2동 삼성로 부근  휴일\n",
       "1      2019-01-01 09:20:00  삼성2동     서울특별시 강남구 삼성2동 봉은사로 부근  휴일\n",
       "2      2019-01-01 09:22:00  역삼1동  서울특별시 강남구 역삼1동 봉은사로48길 부근  휴일\n",
       "3      2019-01-01 09:24:00  대치2동      서울특별시 강남구 대치2동 삼성로 부근  휴일\n",
       "4      2019-01-01 09:31:00   청담동   서울특별시 강남구 청담동 삼성로134길 부근  휴일\n",
       "...                    ...   ...                        ...  ..\n",
       "177817 2021-05-31 21:32:00   역삼동          서울특별시 강남구 역삼동 804  평일\n",
       "177818 2021-05-31 21:55:00   일원동          서울특별시 강남구 일원동 732  평일\n",
       "177819 2021-05-31 21:55:00   대치동          서울특별시 강남구 대치동 398  평일\n",
       "177820 2021-05-31 23:07:00   개포동          서울특별시 강남구 개포동 185  평일\n",
       "177821 2021-05-31 23:07:00   개포동          서울특별시 강남구 개포동 185  평일\n",
       "\n",
       "[177822 rows x 4 columns]"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['평휴일'] = df['단속일시'].dt.weekday + 1\n",
    "df['날짜'] = df['단속일시'].dt.date\n",
    "\n",
    "# 평일, 휴일 나누기\n",
    "주말 = [6,7]     \n",
    "\n",
    "for i in range(len(df)):\n",
    "    if df['평휴일'][i] in 주말:     \n",
    "        df['평휴일'][i] = '휴일'\n",
    "    else:\n",
    "        df['평휴일'][i] = '평일'\n",
    "\n",
    "#공휴일 > '휴일'로 처리\n",
    "years = [2019,2020,2021]\n",
    "\n",
    "for y in years: \n",
    "    holyday_kr = pytimekr.holidays(year=y)\n",
    "    holyday_index = df[df.날짜.isin(holyday_kr)].index\n",
    "    for row in range(len(df)):\n",
    "        if row in holyday_index:\n",
    "            df['평휴일'][row] = '휴일'\n",
    "            \n",
    "df.drop('날짜',inplace = True, axis = 1)\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.to_csv('./강남구/강남구_원본_평휴일.csv',encoding='CP949')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## x값 추가를 위해 장소 기준으로 value_counts(), 위경도 추가\n",
    "> df : 원본 데이터프레임\n",
    "\n",
    "> df_vc : 유니크한 장소 기준 상권, 주차장 추가 데이터프레임\n",
    "\n",
    "value_counts() 해서 나온 유니크한 장소를 기준으로 반경 500미터마다 상권, 주차장 데이터를 가져올 것."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>장소</th>\n",
       "      <th>건수</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>서울특별시 강남구 청담동 도산대로 부근</td>\n",
       "      <td>4305</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>서울특별시 강남구 대치동 도곡로 510 주변</td>\n",
       "      <td>3547</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>서울특별시 강남구 신사동 도산대로 부근</td>\n",
       "      <td>2947</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>서울특별시 강남구 역삼동 선릉로69길 20 주변</td>\n",
       "      <td>2753</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>서울특별시 강남구 대치동 삼성로 237 주변</td>\n",
       "      <td>2636</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8420</th>\n",
       "      <td>서울특별시 강남구 도곡동 902-21</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8421</th>\n",
       "      <td>서울특별시 강남구 수서동 산 8-27</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8422</th>\n",
       "      <td>서울특별시 강남구 논현동 279-166</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8423</th>\n",
       "      <td>서울특별시 강남구 역삼1동 806-7</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8424</th>\n",
       "      <td>서울특별시 강남구 논현동 167-17</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>8425 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                              장소    건수\n",
       "0          서울특별시 강남구 청담동 도산대로 부근  4305\n",
       "1       서울특별시 강남구 대치동 도곡로 510 주변  3547\n",
       "2          서울특별시 강남구 신사동 도산대로 부근  2947\n",
       "3     서울특별시 강남구 역삼동 선릉로69길 20 주변  2753\n",
       "4       서울특별시 강남구 대치동 삼성로 237 주변  2636\n",
       "...                          ...   ...\n",
       "8420        서울특별시 강남구 도곡동 902-21     1\n",
       "8421        서울특별시 강남구 수서동 산 8-27     1\n",
       "8422      서울특별시 강남구 논현동 279-166      1\n",
       "8423        서울특별시 강남구 역삼1동 806-7     1\n",
       "8424        서울특별시 강남구 논현동 167-17     1\n",
       "\n",
       "[8425 rows x 2 columns]"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_vc=df['장소'].value_counts()\n",
    "df_vc=df_vc.to_frame().reset_index()\n",
    "df_vc.columns = ['장소','건수']\n",
    "df_vc"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### df_vc 데이터프레임 카카오 API(search/address) 검색"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "method = \"GET\"\n",
    "url =  \"https://dapi.kakao.com/v2/local/search/address.json\"\n",
    "REST_API_KEY = \"4898e58e7218dd49fe6e2d02c9704d38\"\n",
    "header = {\"Authorization\" : f\"KakaoAK {REST_API_KEY}\"}\n",
    "\n",
    "\n",
    "address = df_vc['장소']\n",
    "df_vc['위도1'] = '-'\n",
    "df_vc['경도1'] = '-'\n",
    "\n",
    "for i in range(len(address)) :\n",
    "    results = requests.get(url,headers = header, params = {'query' : f'{address[i]}'}).json()\n",
    "    if results['meta']['total_count'] ==1:\n",
    "        if results['documents'][0]['address'] == None :\n",
    "            lng = results['documents'][0]['road_address']['x']\n",
    "            lat = results['documents'][0]['road_address']['y']\n",
    "        else :\n",
    "            lng = results['documents'][0]['address']['x']\n",
    "            lat = results['documents'][0]['address']['y']\n",
    "    else :\n",
    "        lat = 0\n",
    "        lng = 0\n",
    "    df_vc['위도1'][i] = lat\n",
    "    df_vc['경도1'][i] = lng\n",
    "    print(i)\n",
    "\n",
    "df_카카오 = df_vc"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 카카오 API로 검색 안 된 데이터(위도1==0) 다시 구글 api로 검색해보기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_구글 = df_카카오[df_카카오.위도1==0]\n",
    "df_구글=df_구글.reset_index(drop= True)\n",
    "\n",
    "gmaps = googlemaps.Client(key='AIzaSyBOqWziXVD6UM2NZpZDzVUT1c-seM0QHLI')\n",
    "\n",
    "keywords = df_구글['장소']\n",
    "\n",
    "for keys in range(len(keywords)) :\n",
    "    print(keys)\n",
    "    results = gmaps.geocode(f'{keywords[keys]}', language = 'ko')\n",
    "    try:\n",
    "        df_구글['위도1'][keys] = results[0]['geometry']['location']['lat']\n",
    "\n",
    "        df_구글['경도1'][keys] = results[0]['geometry']['location']['lng']\n",
    "    except : pass"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 위경도 좌표 데이터 수기 수집"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- 구글api까지 돌렸을 때도 검색이 안되거나 '-로', '-길'로 끝나는 데이터는 정확한 분석을 위해 수기 수집하기로 함.\n",
    "- 수기 수집해야 할 데이터 양이 많아서, 각 구분별(검색x, 검색0'-로', '검색0'-길') 건수의 총합 기준 2/3 분량의 데이터만 살리기로 함."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<span style=\"color:red\"> 강남구 2/3분량 개수 승은님한테 확인받고 수정하기 여기부터~ </span>  \n",
    "<span style=\"color:red\"> >> 파일명 './강남구/~.csv' 형식으로 넣어주기!</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 구글api로 검색 안 된 데이터"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_구글_0 = df_구글[df_구글.위도1==0]\n",
    "df_구글_0.건수.sum()\n",
    "# 건수.sum()한 값 기준 2/3 분량 확인 후\n",
    "\n",
    "건수=0\n",
    "for i in range(0,len(df_구글_0)):\n",
    "    건수 += df_구글_0.건수.iloc[i]\n",
    "    print(i,df_구글_0.건수.iloc[i] )\n",
    "    if 건수 >= 850:\n",
    "        break\n",
    "\n",
    "df_구글_0.to_excel('./강남구/구글_0_수기수집.xlsx',encoding='CP949')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 엑셀 파일로 저장하여 위경도 좌표 직접 입력 후 파일 다시 불러와서 df_구글_0으로 덮어쓰기\n",
    "df_구글_0=pd.read_excel('./강남구/구글_0_수기수집.xlsx')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 구글 api로 검색 된 데이터"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_구글_1 = df_구글[df_구글.위도1!=0]\n",
    "\n",
    "# 살릴 데이터 개수 검토\n",
    "df_구글_1 = df_구글_1.set_index('장소')\n",
    "df_구글_1_로 = df_구글_1.filter(regex = '로$', axis = 0)\n",
    "df_구글_1_로.건수.sum()\n",
    "df_구글_1_길 = df_구글_1.filter(regex = '길$', axis = 0)\n",
    "df_구글_1_길.건수.sum()\n",
    "\n",
    "건수=0\n",
    "for i in range(0,len(df_구글_1_로)):\n",
    "    건수 += df_구글_1_로.건수.iloc[i]\n",
    "    print(i,df_구글_1_로.건수.iloc[i] )\n",
    "    if 건수 >=73: # >= 숫자는 건수.sum()한 값 기준 2/3 지점\n",
    "        break\n",
    "\n",
    "건수=0\n",
    "for i in range(0,len(df_구글_1_길)):\n",
    "    건수 += df_구글_1_길.건수.iloc[i]\n",
    "    print(i,df_구글_1_길.건수.iloc[i] )\n",
    "    if 건수 >=2430: # >= 숫자는 건수.sum()한 값 기준 2/3 지점\n",
    "        break\n",
    "                \n",
    "df_구글_1=df_구글_1.filter(regex = '로$|길$', axis = 0)\n",
    "df_구글_1.to_excel('./강남구/구글_1_수기수집.xlsx',encoding='CP949')\n",
    "\n",
    "# 구글_수기수집 엑셀 파일에서 각각 ~로, ~길로 끝나는 데이터 필터링 후 수기 수집하기로 한 지점까지 위경도 좌표 직접 입력\n",
    "# 직접 입력한 파일 다시 불러와서 df_구글_1로 덮어쓰기\n",
    "df_구글_1 = pd.read_excel('./강남구/구글_1_수기수집.xlsx')\n",
    "df_구글_1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### df_카카오에 추가로 데이터 수집한 df_구글, df_구글_0, df_구글_1 다시 합치기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_카카오=df_카카오.set_index('장소')\n",
    "\n",
    "df_구글=df_구글.set_index('장소')\n",
    "구글index=df_구글.index\n",
    "\n",
    "df_구글_0=df_구글_0.set_index('장소')\n",
    "구글0index=df_구글_0.index\n",
    "\n",
    "df_구글_1=df_구글_1.set_index('장소')\n",
    "구글1index=df_구글_1.index\n",
    "\n",
    "df_카카오.drop(index=구글index,inplace=True)\n",
    "df_카카오.drop(index=구글0index,inplace=True)\n",
    "df_카카오.drop(index=구글1index,inplace=True)\n",
    "# df_카카오 데이터 프레임에서 추가로 수집한 장소 인덱스를 전체 삭제 했다가 다시 concat\n",
    "\n",
    "df_카카오=pd.concat([df_카카오,df_구글],axis=0)\n",
    "df_카카오=pd.concat([df_카카오,df_구글_0],axis=0) \n",
    "df_카카오=pd.concat([df_카카오,df_구글_1],axis=0)\n",
    "\n",
    "df_vc = df_카카오[df_카카오.위도1!=0]\n",
    "#데이터 수기 수집까지 완료 후 남은 0값을 제외하여 df_vc 데이터프레임으로 넣기\n",
    "\n",
    "df_vc.to_csv('./강남구/강남구_위경도_최종.csv', encodin='CP949')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 시각화 > 위치 확인 후 이상치 데이터 다시 전처리"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import folium\n",
    "from folium.plugins import MarkerCluster\n",
    "\n",
    "map1= folium.Map(location=[37.565,126.977], zoom_start=13)\n",
    "mc = MarkerCluster().add_to(map1)\n",
    "\n",
    "data = df_vc\n",
    "\n",
    "for idx in range(len(data)):\n",
    "    for repeat in range(data.건수[idx]):\n",
    "        loc = [data.위도1[idx],data.경도1[idx]]\n",
    "        msg = data.장소[idx]\n",
    "        marker = folium.Marker(loc, popup = folium.Popup(msg, max_width = 100))\n",
    "        marker.add_to(mc)\n",
    "map1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<span style=\"color:red\">강남구 승은님 확인하고 수정하기 여기까지~~ </span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 시각화해서 확인했을 때 모든 데이터가 강남구 안에 들어가있고 이상치 없는 vc_위경도 전처리 완료 파일 생성"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_vc.to_csv('./강남구/강남구_위경도_최종.csv', encoding='CP949')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 행정동 이름 덮어쓰기\n",
    "대치1동 대치2동과 같이 구체적인 주소가 필요한데 크게 '대치동'으로 기입된 경우가 많음  \n",
    "API로 행정동을 다시 받아온 뒤 json에서 제공하는 동정보와 일치하도록 행정동 이름 덮어쓰기\n",
    "- VC_위경도 데이터에서 (위도1,경도1)을 기준으로 카카오 API(geo/coord2regioncode)를 사용해 행정동으로 변환, 추가하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_vc = pd.read_csv('./강남구/강남구_위경도_최종.csv',encoding='CP949').drop('Unnamed: 0', axis =1)\n",
    "\n",
    "API_KEY = \"39e3a58a91cddfb269e654adedd91691 \"\n",
    "URL= 'https://dapi.kakao.com/v2/local/geo/coord2regioncode.json'\n",
    "header = {'Authorization': f'KakaoAK {API_KEY}'}\n",
    "\n",
    "df_vc.insert(2,'행정동','-')\n",
    "\n",
    "for i in range(len(df_vc)):\n",
    "    longitude = df_vc['경도1'][i]\n",
    "    latitude = df_vc['위도1'][i]\n",
    "    url = '%s?x=%s&y=%s' %(URL, longitude, latitude)\n",
    "\n",
    "    try:\n",
    "         resp = requests.get(url,headers=header)\n",
    "         json_data = json.loads(resp.text)\n",
    "         json_doc = json_data.get('documents')[1]\n",
    "         json_name = json_doc.get('region_3depth_name')\n",
    "    except:\n",
    "        json_name = None\n",
    "    \n",
    "    df_vc['행정동'][i] = json_name\n",
    "\n",
    "df_vc"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_vc = pd.read_csv('./강남구/강남구_위경도_최종.csv',encoding='CP949').drop('Unnamed: 0', axis =1)\n",
    "\n",
    "df_vc.행정동 = '강남구 ' + df_vc.행정동\n",
    "행정동 = df_vc.행정동.unique()\n",
    "동정보 = [ '강남구 신사동','강남구 논현1동','강남구 논현2동','강남구 삼성1동','강남구 삼성2동','강남구 대치1동','강남구 대치4동',\n",
    "       '강남구 역삼1동','강남구 역삼2동','강남구 도곡1동','강남구 도곡2동','강남구 개포1동','강남구 개포4동','강남구 일원본동',\n",
    "       '강남구 일원1동','강남구 일원2동','강남구 수서동','강남구 세곡동','강남구 압구정동','강남구 청담동','강남구 대치2동','강남구 개포2동']\n",
    "행정동_0 = list(set(행정동) - set(동정보))\n",
    "행정동_0\n",
    "\n",
    "#행정동_0확인해봤을 때, 강남구가 아닌 동이 있어서 주소 확인해보고 삭제\n",
    "df_vc = df_vc[~df_vc.행정동.isin(['강남구 잠실2동','강남구 반포1동','강남구 옥수동','강남구 내곡동','강남구 양재2동','강남구 양재1동','강남구 서초2동','강남구 잠원동'])]\n",
    "df_vc.행정동.value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_vc.to_csv('./강남구/강남구_위경도_최종.csv', encoding = 'CP949')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##  위경도 추가된 df_vc에 카카오 API(search/category)를 사용하여 위경도 기준 반경 500미터 안의 상권 데이터 수집\n",
    "위경도좌표 여러개인 장소에 대해서는 각 좌표에서의 상권 개수 평균으로 사용."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<span style='color:red'> 반경 500만 돌리는 코드로 수정해놓음 / 카테고리마다 저장하는 코드도 삭제 / 카테고리에서 주차장 미리 삭제</span>  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_cg = pd.read_csv('./강남구/강남구_위경도_최종.csv',encoding='CP949')\n",
    "df_cg.drop(['Unnamed: 0'], axis = 1, inplace = True)\n",
    "\n",
    "method = \"GET\"\n",
    "url =  \"https://dapi.kakao.com/v2/local/search/category.json\"\n",
    "\n",
    "#API를 여러번 돌려야하는데 카카오API 일일 사용량 제한이 있어 여러개의 키 사용\n",
    "REST_API_KEY1 = \"840b78cdf92189c049a1084d392db058\" \n",
    "REST_API_KEY2 = \"7db50bb18e96cf81d6631be89622070a\" \n",
    "REST_API_KEY3 = \"9965e75cc78c7e15b2b01597ac0248d5\" \n",
    "REST_API_KEY4 = \"f4395216b3a28ad7a5a266cc8739d395\" \n",
    "REST_API_KEY5 = \"ca16806ad0aa1d85114a10dbf1a5717e\" \n",
    "REST_API_KEY6 = \"0df1cc626afc41cd1dd5da67633b8f4f\" \n",
    "REST_API_KEY7 = \"a200dddf90682f5ee67f47377ba9081f\" \n",
    "REST_API_KEY8 = \"5b88b1a289ec448d3bfd0992bc8fc5ff\"\n",
    "REST_API_KEY9 = \"96a2c72fecc571caf37e243b30145a74\" \n",
    "REST_API_KEY10 = \"5b5b11dbb1bb56b57f12d074af31fee2\" \n",
    "REST_API_KEY11 = \"9570b5e05b397fbf3e43d3862aace5ab\" \n",
    "REST_API_KEY12 = \"39e3a58a91cddfb269e654adedd91691\" \n",
    "REST_API_KEY13 = \"b6604d2b80fc5d6bc76d0ccad368d538\" \n",
    "REST_API_KEY14 = \"e64bc382655d1baec82489035bc933f1\" \n",
    "\n",
    "REST_API_KEY = [REST_API_KEY1,REST_API_KEY2,REST_API_KEY3,REST_API_KEY4,REST_API_KEY5,\n",
    "                REST_API_KEY6,REST_API_KEY7,REST_API_KEY8,REST_API_KEY9,REST_API_KEY10,\n",
    "                REST_API_KEY11,REST_API_KEY12, REST_API_KEY13,REST_API_KEY14]\n",
    "\n",
    "API_COUNT = 0\n",
    "header = {\"Authorization\" : f\"KakaoAK {REST_API_KEY[API_COUNT]}\"}\n",
    "category_list = ['MT1','CS2','PS3','SC4','AC5',   # 카테고리 코드\n",
    "                 'OL7','SW8','BK9','CT1','AG2','PO3',\n",
    "                 'AT4', 'AD5','FD6','CE7','HP8','PM9']\n",
    "category_name = ['대형마트','편의점','어린이집','학교','학원',   # 각 코드 카테고리명\n",
    "                 '주유소','지하철역','은행','문화시설','중개업소','공공기관',\n",
    "                 '관광명소','숙박','음식점','카페','병원','약국']\n",
    "\n",
    "for columns in category_name: # category_name요소들을 칼럼으로 추가\n",
    "    df_cg[f'{columns}'] = '-'\n",
    "\n",
    "for idx, cg in enumerate(category_list) : # 카테고리 하나씩 돌리기\n",
    "    print('---------------------------------------------------------------------')\n",
    "    print('카테고리 : ', category_name[idx], '추출중')\n",
    "\n",
    "    for row in range(len(df_cg)) : # df 1행 씩 돌리기\n",
    "        print('----------------')\n",
    "\n",
    "        counts = []\n",
    "        for numb in range(21): # 위경도가 여러개 있는 줄은 각 위경도를 구함\n",
    "            x_coord = df_cg[f'경도{numb+1}'][row]\n",
    "            y_coord = df_cg[f'위도{numb+1}'][row]\n",
    "            if x_coord > 100 : # 위경도 값이 존재한다면\n",
    "                param = {'category_group_code' : f'{cg}', 'y' : f'{y_coord}', 'x' : f'{x_coord}', 'radius' : 500} \n",
    "                results = requests.get(url, headers = header, params = param ).json()\n",
    "                while 'errorType' in results:\n",
    "                    print(\"!!!!!!!!!!!!!!!!!!!!!!!!!!!!\\n!!!!!!!!!!!!!!!!!!!!!!!!!!!!\\n!!!!!!!!!!!!!!!!!!!!!!!!!!!!\\n!!!!!!!!!!!!!!!!!!!!!!!!!!!!\\n\")\n",
    "                    print(f'API 막혔다! {API_COUNT+2}번째 API 사용 ')\n",
    "                    print(\"!!!!!!!!!!!!!!!!!!!!!!!!!!!!\\n!!!!!!!!!!!!!!!!!!!!!!!!!!!!\\n!!!!!!!!!!!!!!!!!!!!!!!!!!!!\\n!!!!!!!!!!!!!!!!!!!!!!!!!!!!\\n\")\n",
    "                    API_COUNT += 1 # API KEY 변경\n",
    "                    if API_COUNT+1 > len(REST_API_KEY): # API KEY 가 다 돌면 다시 첫번째 API KEY 호출\n",
    "                        API_COUNT = 0\n",
    "                    header = {\"Authorization\" : f\"KakaoAK {REST_API_KEY[API_COUNT]}\"}\n",
    "                    results = requests.get(url, headers = header, params = param ).json()\n",
    "                counts.append(results['meta']['total_count']) # 위경도 1~14에 해당하는 검색 결과를 리스트에 추가\n",
    "                count = round(sum(counts)/len(counts),3) # 추가한 리스트에서 평균 구하기\n",
    "        print(f'{API_COUNT+1}번째 API 사용중 -> data의 {row}줄 검색완료-{category_name[idx]} 중--{round(row/len(df_cg),6) * 100}% 완료')\n",
    "        df_cg[f'{category_name[idx]}'][row] = count # 최종 검색 갯수를 저장\n",
    "        \n",
    "    #위경도 정보를 제외한 장소, 카테고리 데이터만 남기고 파일로 저장하기\n",
    "    df_cg = df_cg[['장소','대형마트','편의점','어린이집','학교','학원',\n",
    "                 '주유소','지하철역','은행','문화시설','중개업소','공공기관',\n",
    "                 '관광명소','숙박','음식점','카페','병원','약국']]\n",
    "df_cg.to_csv(f'./강남구/강남구_X값추가_500.csv',encoding = 'CP949')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "-----"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 주차장 데이터 수집 및 전처리\n",
    "민영주차장, 부설주차장 데이터 : '서울특별시 주차정보안내시스템'에서 수기 수집, 구글 API로 위경도 입력.\n",
    "- 00구_주차장 : '서울시 열린데이터광장'에서 다운로드한 '서울시 공영주차장 안내 정보'파일에서 추출한 00구 공영주차장 데이터 + 수기 수집한 민영주차장 데이터  \n",
    "- 00구_부설주차장 : 수기 수집한 부설주차장 데이터"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 수기 수집한 주차장 데이터의 지번주소를 이용하여 위경도 추가\n",
    "동일 코드로 강남구_부설주차장, 강남구_주차장, 용산구_부설주차장, 용산구_주차장 파일 모두 위경도 추가"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "주차장 = pd.read_csv('./강남구/강남구_부설주차장.csv', encoding='CP949')\n",
    "주차장.drop(['Unnamed: 0'],axis=1,inplace=True)\n",
    "\n",
    "gmaps = googlemaps.Client(key='AIzaSyBOqWziXVD6UM2NZpZDzVUT1c-seM0QHLI')\n",
    "\n",
    "keywords = 주차장['주소']\n",
    "주차장['위도']='-'\n",
    "주차장['경도']='-'\n",
    "\n",
    "for keys in range(len(keywords)) :\n",
    "    print(keys)\n",
    "    results = gmaps.geocode(f'{keywords[keys]}', language = 'ko')\n",
    "    try:\n",
    "        주차장['위도'][keys] = results[0]['geometry']['location']['lat']\n",
    "\n",
    "        주차장['경도'][keys] = results[0]['geometry']['location']['lng']\n",
    "    except : pass\n",
    "    \n",
    "주차장.to_csv('./강남구/강남구_부설주차장.csv',encoding='CP949')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 1. 공영,민영주차장 등급 나누기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "columns = ['주차장명','주소','위도','경도','총주차면','기본 주차 요금',\n",
    "          '기본 주차 시간(분 단위)','추가 단위 요금','추가 단위 시간(분 단위)','일 최대 요금',\n",
    "          '평일 운영 시작 시각','평일 운영 종료 시각','주말 운영 시작',\n",
    "         '주말 운영 종료','공휴일 운영 시작','공휴일 운영 종료']\n",
    "\n",
    "주차장 = pd.read_csv('./강남구/강남구_주차장.csv', encoding = 'CP949')\n",
    "주차장.columns = columns #강남구/용산구 컬럼명이 달라서 통일시키기\n",
    "\n",
    "#주차장명, 지번주소, 총주차면, 기본주차 요금/시간 컬럼 사용\n",
    "주차장 = 주차장[['주차장명','주소','위도','경도','총주차면','기본 주차 요금','기본 주차 시간(분 단위)']]\n",
    "\n",
    "#분당기본요금 컬럼 추가하고 기본주차요금/시간 컬럼 삭제, 반올림\n",
    "주차장['분당기본요금'] = 주차장['기본 주차 요금'] / 주차장['기본 주차 시간(분 단위)']\n",
    "주차장=주차장[['주차장명','주소','위도','경도','총주차면','분당기본요금']]\n",
    "주차장.분당기본요금 = 주차장.분당기본요금.fillna(주차장.분당기본요금.mean())\n",
    "주차장.분당기본요금 = 주차장.분당기본요금.round(2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 요금 등급 나누기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "요금정렬 = 주차장.sort_values(by='분당기본요금',ascending=False)\n",
    "기본요금합=요금정렬.분당기본요금.sum()\n",
    "요금3 = 기본요금합/3\n",
    "\n",
    "요금=0\n",
    "for i in range(0,len(주차장)):\n",
    "    요금 += 요금정렬.분당기본요금.iloc[i]\n",
    "    print(i,요금정렬.분당기본요금.iloc[i] )\n",
    "    요금a = 요금정렬.분당기본요금.iloc[i]\n",
    "    if 요금 >= 요금3:\n",
    "        break\n",
    "요금a\n",
    "#마지막 행에 해당하는 요금(a) 이상 : 3등급(요금 비싼 주차장), 미만이면 2등급(요금 중간)\n",
    "\n",
    "요금=0\n",
    "for i in range(0,len(주차장)):\n",
    "    요금 += 요금정렬.분당기본요금.iloc[i]\n",
    "    print(i,요금정렬.분당기본요금.iloc[i] )\n",
    "    요금b = 요금정렬.분당기본요금.iloc[i]\n",
    "    if 요금 >= 요금3*2:\n",
    "        break\n",
    "요금b\n",
    "#마지막 행에 해당하는 요금(b) 미만면 1등급(요금 싼 주차장) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 주차장 등급 나누기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "주차면정렬 = 주차장.sort_values(by='총주차면',ascending=False)\n",
    "주차면합=주차면정렬.총주차면.sum()\n",
    "주차면3 = 주차면합/3\n",
    "\n",
    "주차면=0\n",
    "for i in range(0,len(주차장)):\n",
    "    주차면 += 주차면정렬.총주차면.iloc[i]\n",
    "    print(i,주차면정렬.총주차면.iloc[i] )\n",
    "    주차면a = 주차면정렬.총주차면.iloc[i]\n",
    "    if 주차면 >= 주차면3:\n",
    "        break\n",
    "주차면a\n",
    "#마지막 행에 해당하는 주차면(a) 이상 : 1등급(넓은 주차장), 미만이면 2등급(주차면 중간)\n",
    "\n",
    "주차면=0\n",
    "for i in range(0,len(주차장)):\n",
    "    주차면 += 주차면정렬.총주차면.iloc[i]\n",
    "    print(i,주차면정렬.총주차면.iloc[i] )\n",
    "    주차면b = 주차면정렬.총주차면.iloc[i]\n",
    "    if 주차면 >= 주차면3*2:\n",
    "        break\n",
    "주차면b\n",
    "#마지막 행에 해당하는 주차면(b) 미만면 3등급(좁은 주차장) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 주차장df에 등급 추가"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "주차장['주차장등급']=3 #3등급의 비율이 많으므로 3을 기본값으로 두고, 2등급과 1등급을 수정해주기로\n",
    "주차장 = 주차장.set_index('주소')\n",
    "\n",
    "#2등급\n",
    "주차장2=주차장[(주차장.총주차면 >= 주차면b) & (주차장.분당기본요금 < 요금a)]\n",
    "주차장2idx=주차장2.index\n",
    "\n",
    "#1등급\n",
    "주차장1=주차장[(주차장.총주차면 >= 주차면a) & (주차장.분당기본요금 < 요금b)]\n",
    "주차장1idx=주차장1.index\n",
    "\n",
    "#1등급이 2등급에 포함되어있음 > 2등급 주차장에서 1등급 drop > 각 등급에 따라 값 넣기\n",
    "주차장2.drop(index=주차장1idx,inplace=True)\n",
    "주차장2.주차장등급=2\n",
    "주차장1.주차장등급=1\n",
    "\n",
    "#전체 주차장에서 2등급인덱스(1등급포함) drop > 2등급, 1등급 주차장 concat\n",
    "주차장.drop(index=주차장2idx,inplace=True)\n",
    "주차장=pd.concat([주차장,주차장1],axis=0)\n",
    "주차장=pd.concat([주차장,주차장2],axis=0)\n",
    "주차장=주차장.reset_index()\n",
    "주차장.to_csv('./강남구/강남구_주차장등급.csv',encoding='CP949')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2. df_vc의 장소 기준 반경 500미터 내 부설주차장 개수 대비 면수"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_pk = pd.read_csv('./강남구/강남구_위경도_최종.csv', encoding = 'CP949').drop('Unnamed: 0',axis = 1)\n",
    "df_pk[['주차장수','면수','주차장수 대비 면수']] = np.NAN\n",
    "\n",
    "df_pk_p = pd.read_csv('./강남구/강남구_부설주차장.csv', encoding = 'CP949').drop('Unnamed: 0',axis = 1)\n",
    "\n",
    "for row in range(len(df_pk)): #원본 데이터 줄\n",
    "    count_list = []\n",
    "    count_면수 = []\n",
    "\n",
    "    for i in range(20): # 위경도 1~21번까지 추출\n",
    "        if df_pk[f'위도{i+1}'][row] >30 : \n",
    "            count = 0\n",
    "            count_면수 = []\n",
    "\n",
    "            spot1 = [df_pk[f'위도{i+1}'][row], df_pk[f'경도{i+1}'][row] ] # 원본데이터의 위경도\n",
    "            for park_idx in range(len(df_pk_p)):\n",
    "                spot2 = [df_pk_p['위도'][park_idx],df_pk_p['경도'][park_idx]] # 주차장데이터의 위경도\n",
    "                dist = haversine(spot1, spot2, unit = 'm')\n",
    "                if dist <= 500 :\n",
    "                    count += 1\n",
    "                    면수 = df_pk_p['총 주차면'][park_idx]\n",
    "                    count_면수.append(면수)\n",
    "\n",
    "\n",
    "            count_list.append(count)            \n",
    "            print(f'{row}줄 {i+1}위경도 추출중')\n",
    "\n",
    "    df_pk['주차장수'][row] = sum(count_list)/len(count_list)\n",
    "    df_pk['면수'][row] = sum(count_면수)\n",
    "    if sum(count_list)/len(count_list) == 0:\n",
    "        df_pk['주차장수 대비 면수'][row] = 0\n",
    "    else :\n",
    "        df_pk['주차장수 대비 면수'][row] = sum(count_면수)/ (sum(count_list)/len(count_list))\n",
    "\n",
    "df_pk.iloc[:,[0,44,45,46]].to_csv(f'./강남구/강남구_VC_부설추가_500.csv', encoding = 'CP949')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 3. df_vc의 장소 기준 반경 500미터 내 등급별 주차장 개수"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_pk = pd.read_csv('./강남구/강남구_위경도_최종.csv', encoding = 'CP949').drop('Unnamed: 0',axis = 1)\n",
    "df_pk[['주차장(1등급)','주차장(2등급)','주차장(3등급)']] = np.NAN\n",
    "\n",
    "df_pk_lv = pd.read_csv('./강남구/강남구_주차장등급.csv', encoding = 'CP949').drop('Unnamed: 0',axis = 1)\n",
    "\n",
    "for row in range(len(df_pk)): #원본 데이터 줄\n",
    "    counts1 = []\n",
    "    counts2 = []\n",
    "    counts3 = []\n",
    "    for i in range(20): # 위경도 1~21번까지 추출\n",
    "        if df_pk[f'위도{i+1}'][row] >30 :\n",
    "            count1 = 0\n",
    "            count2 = 0\n",
    "            count3 = 0\n",
    "            spot1 = [df_pk[f'위도{i+1}'][row], df_pk[f'경도{i+1}'][row]]\n",
    "            for park_idx in range(len(df_pk_lv)):\n",
    "                spot2 = [df_pk_lv['위도'][park_idx],df_pk_lv['경도'][park_idx]]\n",
    "                dist = haversine(spot1, spot2, unit = 'm')\n",
    "                if dist <= 500 :\n",
    "                    if df_pk_lv['주차장등급'][park_idx] == 1:\n",
    "                        count1 +=1\n",
    "                    elif df_pk_lv['주차장등급'][park_idx] == 2:\n",
    "                        count2 +=1\n",
    "                    else :\n",
    "                        count3 +=1\n",
    "\n",
    "            counts1.append(count1)\n",
    "            counts2.append(count2)\n",
    "            counts3.append(count3)\n",
    "    df_pk['주차장(1등급)'][row] = sum(counts1)/len(counts1)\n",
    "    df_pk['주차장(2등급)'][row] = sum(counts2)/len(counts2)\n",
    "    df_pk['주차장(3등급)'][row] = sum(counts3)/len(counts3)\n",
    "df_pk.iloc[:,[0,44,45,46]].to_csv(f'./강남구/강남구_VC_주차장등급추가_500.csv',encoding = 'CP949')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## df_vc에 반경 500미터 내 상권, 주차장 데이터 붙이기\n",
    "- 강남 : df_vc에서 장소, 위도1, 경도1 살리고 상권, 주차장 합치기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_vc = pd.read_csv(\"./강남구/강남구_위경도_최종.csv\", encoding = 'CP949')\n",
    "df_vc = df_vc[['장소','행정동','위도1','경도1']]\n",
    "df_vc.columns=['장소','행정동','위도','경도']\n",
    "df_cg = pd.read_csv(\"./강남구/강남구_X값추가_500.csv\", encoding = 'CP949').drop(['Unnamed: 0'],axis=1)\n",
    "df_pk_lv = pd.read_csv(\"./강남구/강남구_VC_주차장등급추가_500.csv\", encoding = 'CP949').drop(['Unnamed: 0'],axis=1)\n",
    "df_pk_p = pd.read_csv(\"./강남구/강남구_VC_부설추가_500.csv\", encoding = 'CP949')\n",
    "df_pk_p = df_pk_p[['장소','주차장수 대비 면수']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_vc = pd.merge(df_vc,df_cg, on='장소')\n",
    "df_vc = pd.merge(df_vc,df_pk_lv, on='장소')\n",
    "df_vc = pd.merge(df_vc,df_pk_p, on='장소')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## df, df_vc merge, groupby\n",
    "전처리_최종 파일에 건수 컬럼을 추가하고 (단속일시, 장소)를 기준으로 groupby하여 건수 총합을 추가.  \n",
    "groupby된 df에 원본의 평휴일, 단속동 컬럼 추가하여 최종 데이터셋 저장."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#df_vc에 추가된 행정동을 사용할 것 > 원본의 단속동 컬럼 삭제\n",
    "df = pd.merge(df, df_vc, on='장소').drop(['단속동'],axis=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.to_csv('./강남구/강남구_전처리_최종.csv',encoding='CP949')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.read_csv('./강남구/강남구_전처리_최종.csv',encoding='CP949').drop('Unnamed: 0', axis =1)\n",
    "\n",
    "df.단속일시 = pd.to_datetime(df.단속일시, format = '%Y-%m-%d %H:%M')\n",
    "df.단속일시 = df.단속일시.dt.date\n",
    "df['건수']=1\n",
    "\n",
    "df1 =  df[['단속일시','장소', '건수']].groupby(['단속일시','장소'], as_index=False).sum()\n",
    "#건수 제외 나머지 컬럼도 groupby로 묶어주기\n",
    "df2 = df.drop(['행정동','평휴일','건수'],axis=1).groupby(['단속일시','장소'], as_index=False).mean()\n",
    "df3 = pd.merge(df1,df2)\n",
    "\n",
    "df4 = df[['단속일시','평휴일','행정동','장소']]\n",
    "#groupby한 df3에는 단속동 컬럼 없음 > df_vc의 행정동 컬럼을 단속동으로 이름 바꿔서 merge \n",
    "df4.columns=['단속일시','평휴일','단속동','장소']\n",
    "df4 = df4.drop_duplicates(['단속일시','장소'])\n",
    "df5 = pd.merge(df3,df4,how='left',on=['단속일시','장소'])\n",
    "\n",
    "#컬럼명 순서 수정\n",
    "df5 = df5[['단속일시', '평휴일', '단속동', '장소', '건수', '위도', '경도', '대형마트', '편의점', '어린이집', '학교', '학원',\n",
    "       '주유소', '지하철역', '은행', '문화시설', '중개업소', '공공기관', '관광명소', '숙박', '음식점', '카페',\n",
    "       '병원', '약국', '주차장(1등급)', '주차장(2등급)', '주차장(3등급)', '주차장수 대비 면수']]\n",
    "df5.to_csv('./강남구_500_주정차단속현황.csv',encoding='CP949')"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}