preparacaoDosDados.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "sveG-g4D5BXB"
   },
   "source": [
    "Os dados são provenientes do Wyscout e é um dos datasets de futebol abertos mais robustos disponíveis atualmente. Nós temos eventos de todas as partidas de uma temporada completa (2016-2017) das  [cinco principais ligas europeias segundo a UEFA](https://www.uefa.com/memberassociations/uefarankings/country/#/yr/2019) (as primeiras divisões das ligas espanhola; italiana; alemã; francesa e inglesa), do campeonato europeu de seleções de 2016 e da Copa do Mundo da Rússia de 2018.\n",
    "\n",
    "[Neste artigo](https://www.nature.com/articles/s41597-019-0247-7) há informações detalhadas sobre como se dá a coleta de dados dos jogos de futebol pela Wyscout e a definição das variáveis."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "6jobUCTPLVkX"
   },
   "source": [
    "Para cada finalização de todos os campeonatos identificamos:\n",
    "\n",
    "1) A posição x (horizontal) e y (vertical) do chute no campo;\n",
    "\n",
    "2) Distância do chute em relação à linha central;\n",
    "\n",
    "3) Distância do chute (em relação ao gol) em metros;\n",
    "\n",
    "4) O ângulo do chute em relação à baliza;\n",
    "\n",
    "5) O campeonato em que o chute foi dado (para análises depois de construir o modelo);\n",
    "\n",
    "6) Se o chute foi dado a partir de um contra ataque; uma falta; pênalti ou em organização ofensiva da equipe (a equipe adversária estava posicionada defensivamente) e\n",
    "\n",
    "7) A variável que queremos prever: dado as características acima (tirando o campeonato) foi gol ou não (sua probabilidade)?\n",
    "\n",
    "[Significados detalhados das tags dos eventos](https://support.wyscout.com/matches-wyid-events#10-available-tag-ids)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "zbitkcbrDakZ"
   },
   "source": [
    "*A preparação dos dados foi feita utilizando o Google Colab tendo em vista a capacidade de processamento."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "id": "dQqptZ7u1J13"
   },
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "import json"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "GWpyORn11VZ3"
   },
   "outputs": [],
   "source": [
    "from google.colab import drive\n",
    "drive.mount('/content/drive')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "uC6viM-g1J16"
   },
   "outputs": [],
   "source": [
    "#Chutes da copa do mundo de 2018\n",
    "with open('/content/drive/MyDrive/events/events_World_Cup.json') as f:\n",
    "    copa_do_mundo = json.load(f)\n",
    "    \n",
    "copa_do_mundo= pd.DataFrame(copa_do_mundo)\n",
    "copa_do_mundo_chutes= copa_do_mundo[copa_do_mundo['subEventName'].isin(['Shot', 'Penalty', 'Free kick shot'])].assign(campeonato = 'Copa do mundo')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "z9BTUQw-1J18"
   },
   "outputs": [],
   "source": [
    "#Chutes de todas as partidas do campeonato espanhol\n",
    "with open('/content/drive/MyDrive/events/events_Spain.json') as f:\n",
    "    espanha = json.load(f)\n",
    "\n",
    "espanha= pd.DataFrame(espanha)\n",
    "espanha_chutes= espanha[espanha['subEventName'].isin(['Shot', 'Penalty', 'Free kick shot'])].assign(campeonato = 'Espanhol')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "kbWgTEuZ1J19"
   },
   "outputs": [],
   "source": [
    "#Chutes de todas as partidas do campeonato italiano \n",
    "with open('/content/drive/MyDrive/events/events_Italy.json') as f:\n",
    "    italia = json.load(f)\n",
    "\n",
    "italia= pd.DataFrame(italia)\n",
    "italia_chutes= italia[italia['subEventName'].isin(['Shot', 'Penalty', 'Free kick shot'])].assign(campeonato = 'Italiano') "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "rxzJlXJF1J1_"
   },
   "outputs": [],
   "source": [
    "#Chutes de todas as partidas do campeonato alemão \n",
    "with open('/content/drive/MyDrive/events/events_Germany.json') as f:\n",
    "    alemanha = json.load(f)\n",
    "\n",
    "alemanha= pd.DataFrame(alemanha)\n",
    "alemanha_chutes= alemanha[alemanha['subEventName'].isin(['Shot', 'Penalty', 'Free kick shot'])].assign(campeonato = 'Alemao')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "uvvobfck1J1_"
   },
   "outputs": [],
   "source": [
    "#Chutes de todas as partidas do campeonato francês\n",
    "with open('/content/drive/MyDrive/events/events_France.json') as f:\n",
    "    franca = json.load(f)\n",
    "\n",
    "franca= pd.DataFrame(franca)\n",
    "franca_chutes= franca[franca['subEventName'].isin(['Shot', 'Penalty', 'Free kick shot'])].assign(campeonato = 'Frances')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "jrbptr5x1J2A"
   },
   "outputs": [],
   "source": [
    "#Chutes de todas as partidas da Eurocopa 2016\n",
    "with open('/content/drive/MyDrive/events/events_European_Championship.json') as f:\n",
    "    eurocopa = json.load(f)\n",
    "\n",
    "eurocopa= pd.DataFrame(eurocopa)\n",
    "eurocopa_chutes= eurocopa[eurocopa['subEventName'].isin(['Shot', 'Penalty', 'Free kick shot'])].assign(campeonato = 'Eurocopa')\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "1H_rjFnk1J2B"
   },
   "outputs": [],
   "source": [
    "#Chutes de todas as partidas do campeonato inglês\n",
    "with open('/content/drive/MyDrive/events/events_England.json') as f:\n",
    "    inglaterra = json.load(f)\n",
    "\n",
    "inglaterra= pd.DataFrame(inglaterra)\n",
    "inglaterra_chutes= inglaterra[inglaterra['subEventName'].isin(['Shot', 'Penalty', 'Free kick shot'])].assign(campeonato = 'Ingles')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "j6DT-EXw2j_k"
   },
   "outputs": [],
   "source": [
    "#Juntando dataframes dos chutes de todas as competições\n",
    "todos_os_chutes= pd.concat([copa_do_mundo_chutes, espanha_chutes, italia_chutes, \n",
    "                            alemanha_chutes, franca_chutes, eurocopa_chutes, inglaterra_chutes], axis=0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "zShrq5ENKbS_"
   },
   "outputs": [],
   "source": [
    "chutes_modelo=pd.DataFrame(columns=['Gol','X','Y', 'Campeonato', 'subEventoNome', 'idTime', 'idJogador'])\n",
    "\n",
    "for i, chute in todos_os_chutes.iterrows():\n",
    "  \n",
    "  cabecalho=0\n",
    "  for chute_tag in chute['tags']:\n",
    "    if chute_tag['id']==403:\n",
    "      cabecalho=1\n",
    "    #Só inclui o que não é cabeçalho        \n",
    "    if not(cabecalho):\n",
    "      #Indicando em qual campeonato o chute foi feito\n",
    "      chutes_modelo.at[i,'Campeonato']= chute['campeonato']\n",
    "\n",
    "      #Ids do time e do jogador\n",
    "      chutes_modelo.at[i,'idTime']= chute['teamId']\n",
    "      chutes_modelo.at[i,'idJogador']= chute['playerId']\n",
    "      \n",
    "      #Incluindo se o chute foi a partir de uma falta, um pênalti, contra ataque ou em organização ofensiva\n",
    "      if chute_tag['id']==1901:\n",
    "        chutes_modelo.at[i,'subEventoNome']='counter_attack'\n",
    "      else:\n",
    "        chutes_modelo.at[i,'subEventoNome']=chute['subEventName']\n",
    "      \n",
    "      #Posição do chute eixo X        \n",
    "      chutes_modelo.at[i,'X']=100-chute['positions'][0]['x']\n",
    "      \n",
    "      #Posição do chute eixo Y\n",
    "      chutes_modelo.at[i,'Y']=chute['positions'][0]['y']\n",
    "      \n",
    "      #Distância do chute da linha central\n",
    "      chutes_modelo.at[i,'distanciaCentro']=abs(chute['positions'][0]['y']-50)\n",
    "    \n",
    "      #Distância do chute (em relação ao gol) em metros\n",
    "      x=chutes_modelo.at[i,'X']*105/100\n",
    "      y=chutes_modelo.at[i,'distanciaCentro']*65/100\n",
    "      chutes_modelo.at[i,'distanciaGol']=np.sqrt(x**2 + y**2)\n",
    "      \n",
    "      #Ângulo do chute em radianos.\n",
    "      angulo = np.arctan(7.32 *x /(x**2 + y**2 - (7.32/2)**2))\n",
    "      if angulo<0:\n",
    "        angulo=np.pi+angulo\n",
    "      chutes_modelo.at[i,'Angulo'] = angulo\n",
    "    \n",
    "      #Conferindo se foi gol\n",
    "      chutes_modelo.at[i,'Gol']=0\n",
    "      for chute_tag in chute['tags']:\n",
    "      #As tags nos dizem se o chute foi gol ou não\n",
    "        if chute_tag['id']==101:\n",
    "          chutes_modelo.at[i,'Gol']=1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "x0NraLfUaDaF"
   },
   "outputs": [],
   "source": [
    "chutes_modelo.isnull().sum()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "CXK0fJnGZ8DS"
   },
   "outputs": [],
   "source": [
    "chutes_modelo.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "yIrBJ-b2Lxzh"
   },
   "outputs": [],
   "source": [
    "#Salvando dataframe chutes_modelo como arquivo csv\n",
    "chutes_modelo.to_csv('/content/drive/MyDrive/todos_os_chutes_modelo.csv', index=False)"
   ]
  }
 ],
 "metadata": {
  "colab": {
   "collapsed_sections": [],
   "name": "preparacaoDosDados.ipynb",
   "provenance": []
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}