Categoría: MatPlotLib

La paradoja del cumpleaños

Manuel H. AriasDeja un comentario

Problema del Cumpleaños

En una habitación encontramos n personas. ¿Cuál es el número n más bajo que asegura que tengas más de un 50% de posibilidades de que dos cualesquiera de ellas cumplan años en el mismo día?

Solución

Calculemos la probabilidad de que no coincidan en su día de cumpleaños dos personas. Para ello damos por hecho que una de ellas ya se encuentra en la habitación y a continuación entra la segunda. ¿Qué probabilidad tiene de NO coincidir en su día de cumpleaños con la que ya está?, pués 364 entre 365, tiene 364 posibles días..todo el año excepto el día en el que nació la primera persona:

p\_no\_coincidencia_{2}= 364/365= 0.0027397

luego la probabilidad de coincidencia es la complementaria :

p_{2}=1- p\_no\_coincidencia_{2}= 1-364/365

A continuación entra una tercera persona. ¿Qué probabilidad hay de que NO coincidan ninguna de las tres? : pues la multiplicación de dos probabilidades, la probabilidad de que la tercera no concida con ninguna de las dos exsitente (363/365) multiplicada por la probabilidad de que los dos primeras no hayan nacido el mismo día : p\_no\_coincidencia_{2}

p\_no\_coincidencia_{3}=\frac{363}{365}p\_no\_coincidencia_{2} = \frac{363*364}{365*365}

y de igual manera la probabilidad de coincidencia para tres personas será tal que :

p_3=1-p\_no\_coincidencia_{3}=1-\frac{363*364}{365*365}=0.008204

A continuación entra una cuarta. Siguiendo el mismo razonamiento encontramos que la probabilidad de NO coincidencia de ninguna de las cuatro es tal que multiplicar la probabilidad de que la cuarta no coincida con ninguna de las tres existentes multiplicado por la probabilidad de que las tres ya existente no coincidan tampoco :

p\_no\_coincidencia_{4}=\frac{362}{365}p\_no\_coincidencia_{3} = \frac{362*363*364}{365*365*365}

y de igual manera la probabilidad de coincidencia será :

p_4=1-p\_no\_coincidencia_{4}=1-\frac{362*363*364}{365*365*365}=0.0163559

Ya podemos generalizar fórmula con la expresión :

p_{i}=\left (1-\frac{364 !}{(365-i)! \enspace 365^{i-1}}\right) \enspace \forall i \in \mathbb{N}_{>1}

Bastará con ir incrementando i, hasta que la probabilidad calculada sea mayor que 0,5 .

Vamos a realizar esos cálculos con unas líneas de Python :

Empecemos importando una serie de librerías que nos ayudarán a realizar esos cálculos :

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
import re
import math

Usemos una variable para el número de días en el año (asumimos que no hay bisiestos) :

n_dias_año=365

Creamos una función p, que calcula la probabilidad de concidencia de n personas, codificando tal cual la fórmula que calculamos antes :

def p(n):
#nos aseguramos de que el parámetro pasado es un integer,
#para evitar errores en el cálculo del factorial
n=int(n)
prob_aux=math.factorial(n_dias_año-1)/
(math.factorial(n_dias_año-n)*n_dias_año**(n-1))
return 1-prob_aux

Saquemos por pantalla una tabla con los valores, hasta, digamos, 100 personas :

n_max=60

for i in range(2,n_max):
print ('Para {:>2} personas : probabilidad {:1.2f}% '.format(i,100*p(i)))

Para 2 personas : probabilidad 0.27%
Para 3 personas : probabilidad 0.82%
Para 4 personas : probabilidad 1.64%
Para 5 personas : probabilidad 2.71%
Para 6 personas : probabilidad 4.05%
Para 7 personas : probabilidad 5.62%
Para 8 personas : probabilidad 7.43%
Para 9 personas : probabilidad 9.46%
Para 10 personas : probabilidad 11.69%
Para 11 personas : probabilidad 14.11%
Para 12 personas : probabilidad 16.70%
Para 13 personas : probabilidad 19.44%
Para 14 personas : probabilidad 22.31%
Para 15 personas : probabilidad 25.29%
Para 16 personas : probabilidad 28.36%
Para 17 personas : probabilidad 31.50%
Para 18 personas : probabilidad 34.69%
Para 19 personas : probabilidad 37.91%
Para 20 personas : probabilidad 41.14%
Para 21 personas : probabilidad 44.37%
Para 22 personas : probabilidad 47.57%
Para 23 personas : probabilidad 50.73%
Para 24 personas : probabilidad 53.83%
Para 25 personas : probabilidad 56.87%
Para 26 personas : probabilidad 59.82%
Para 27 personas : probabilidad 62.69%
Para 28 personas : probabilidad 65.45%
Para 29 personas : probabilidad 68.10%
Para 30 personas : probabilidad 70.63%
Para 31 personas : probabilidad 73.05%
Para 32 personas : probabilidad 75.33%
Para 33 personas : probabilidad 77.50%
Para 34 personas : probabilidad 79.53%
Para 35 personas : probabilidad 81.44%
Para 36 personas : probabilidad 83.22%
Para 37 personas : probabilidad 84.87%
Para 38 personas : probabilidad 86.41%
Para 39 personas : probabilidad 87.82%
Para 40 personas : probabilidad 89.12%
Para 41 personas : probabilidad 90.32%
Para 42 personas : probabilidad 91.40%
Para 43 personas : probabilidad 92.39%
Para 44 personas : probabilidad 93.29%
Para 45 personas : probabilidad 94.10%
Para 46 personas : probabilidad 94.83%
Para 47 personas : probabilidad 95.48%
Para 48 personas : probabilidad 96.06%
Para 49 personas : probabilidad 96.58%
Para 50 personas : probabilidad 97.04%
Para 51 personas : probabilidad 97.44%
Para 52 personas : probabilidad 97.80%
Para 53 personas : probabilidad 98.11%
Para 54 personas : probabilidad 98.39%
Para 55 personas : probabilidad 98.63%
Para 56 personas : probabilidad 98.83%
Para 57 personas : probabilidad 99.01%
Para 58 personas : probabilidad 99.17%
Para 59 personas : probabilidad 99.30%

Podemos comprobar que n=23 es nuestra solución…con una probabilidad de 50.73%.
Además para 57 personas vemos que tenemos más de un 99% de posibilidades de que coincida el cumpleaños de dos de ellas.

Podemos dibujar esa tabla en un gráfico. Disminuimos n_max a 50 por claridad :

n_max=50
fig1, ax1 = plt.subplots(figsize=(15, 5))
y=[p(i) for i in np.arange(2,n_max+1)]
x=np.arange(2,n_max+1).tolist()
linea = ax1.plot(x,y,color='b')
ax1.xaxis.set_ticks(x)
ax1.yaxis.set_ticks(np.arange(0,1.01,0.1))
ax1.set_xlabel('Nº de personas',size=16)
ax1.set_ylabel('Probabilidad',size=16)
ax1.tick_params(axis='x',direction='out', length=5, width=2, colors='black')
ax1.tick_params(axis='y',direction='out', length=5, width=2, colors='black')
ax1.grid(b=True)
plt.plot([21,25],[.5,.5],color='g',lw=3)
plt.plot([23,23],[0.3,0.7],color='g',lw=3)
ax1.set_title('Probabilidad de que coincida el dia de cumpleaños de dos de ellas')
plt.show()

output_13_0

Análisis de multas de tráfico en Madrid de Julio 2017

Manuel H. AriasDeja un comentario

Análisis de multas de circulación impuestas en Madrid durante Julio 2017

Vamos a analizar el fichero de multas del Ayuntamiento de Madrid, con información sacada del portal de OPenData : http://datos.madrid.es

Como siempre importamos las librerias necesarias : pandas, numpy y matplotlib

import pandas as pd

import numpy as np

import matplotlib

import matplotlib.pyplot as plt

import datetime

import matplotlib.dates as mdates

%matplotlib inline

import matplotlib.ticker as mtick

from matplotlib.ticker import FuncFormatter

pd.options.display.float_format = '{:,.1f}'.format

Preparamos una texto para incluirlo en cada gráfico como fuente…

fuente='Fuente : Ayuntamiento de Madrid, http://datos.madrid.es'

Preparando la URL de la fuente de datos

path_web='http://datos.madrid.es/egob/catalogo/210104-162-multas-circulacion-detalle.csv'

cabecera de las columnas

nombre_columnas=['CALIFICACION','LUGAR','MES','ANIO','HORA','IMP_BOL','DESCUENTO','PUNTOS','DENUNCIANTE','HECHO_BOL','VEL_LIMITE','VEL_CIRCULA','COORDENADA_X','COORDENADA_Y']

Leemos los datos desde su localizacion en ‘path_web’, en este fichero tenemos los datos de Junio de 2017. Al respecto de la la identificacion de la multa en el tiempo tendremos la hora pero no el día del mes, es decir : tendremos las multas puestas a las 13:10 a lo largo de todo el mes, pero no podremos partirlas por día. No encuentro otra razón que no sea evitar cualquier vía de identificación del conductor.

multas=pd.read_csv(path_web,sep=";",encoding='windows-1250',index_col=False,header=None,names=nombre_columnas,skiprows=1)

confirmamos que ha bajado correctamente

multas.columns

Index([‘CALIFICACION’, ‘LUGAR’, ‘MES’, ‘ANIO’, ‘HORA’, ‘IMP_BOL’, ‘DESCUENTO’,
‘PUNTOS’, ‘DENUNCIANTE’, ‘HECHO_BOL’, ‘VEL_LIMITE’, ‘VEL_CIRCULA’,
‘COORDENADA_X’, ‘COORDENADA_Y’],
dtype=’object’)

Convertimos la columna ‘HORA’ con horas tal que 21.30 en datetime

multas['HORA']=pd.to_datetime(multas['HORA'],format='%H.%M')

Añadimos una columna hora_entera, tal que la hora (desde 00 hasta 23) para facilidad de cálculo de algunos gráficos..

for n in range(0,multas.shape[0]):
multas.set_value(n,'hora_entera',multas.loc[n,'HORA'].strftime('%H')+':00');

Hay que tratar un poco los dos campos relacionados con velocidad (limite y velocidad multada:
a) tanto los vaklores de aquellas multas no relacionadas con velocidad en las que el valor es un string de 4 caracteres BS : ‘ ‘
b) Aquellos relacionados con velocidad en los que hay que convertir el string con la velocidad a un integer.
He generado un par de columnas adicionales para contener estos datos ya tratados..

velocidad=lambda x : 0 if x==' ' else int(x.strip())

multas['velocidad_limite']=multas['VEL_LIMITE'].apply(velocidad)

multas['velocidad_circulacion']=multas['VEL_CIRCULA'].apply(velocidad)

multas.columns

Index([‘CALIFICACION’, ‘LUGAR’, ‘MES’, ‘ANIO’, ‘HORA’, ‘IMP_BOL’, ‘DESCUENTO’,
‘PUNTOS’, ‘DENUNCIANTE’, ‘HECHO_BOL’, ‘VEL_LIMITE’, ‘VEL_CIRCULA’,
‘COORDENADA_X’, ‘COORDENADA_Y’, ‘hora_entera’, ‘velocidad_limite’,
‘velocidad_circulacion’],
dtype=’object’)

Empezamos a sacar algunos resultados :

Número total de multas : 235.099 multas en Julio 2017

len(multas)

235099

Cuántos puntos se han perdido en esas multas? : 27.037

puntos_totales=multas.PUNTOS.sum()
print ('Puntos total perdidos: {:,.0f} puntos'.format(puntos_totales))

Puntos total perdidos: 27,037 puntos

Cual es la suma del los importes de esas multas, antes de descuento?

euros_totales=multas.IMP_BOL.sum()
print ('Importe total de multas antes de descuento: {:,.0f} euros'.format(euros_totales))

Importe total de multas antes de descuento: 23,113,010 euros

Cual es el importe de la multa de más y menos importe?

print ('Importe más alto: {:,.0f} euros'.format(multas.IMP_BOL.max()))
print ('Importe más bajo: {:,.0f} euros'.format(multas.IMP_BOL.min()))

Importe más alto: 1,000 euros
Importe más bajo: 30 euros

Veamos la distribución de multas por hora : (recordamos de nuevo que en esta gráfica se representa el acumulado en esa hora de todos los dias del mes)

multas_hist=multas['hora_entera'].value_counts().sort_index(axis=0)

fig = plt.figure(1, (7,4))
ax = fig.add_subplot(1,1,1)
ax=multas_hist.plot.bar()
ax.locator_params(axis='y',nbins=10)
ax.set_xlabel('Hora del día')
ax.set_ylabel('Número de multas',size=16)
ax.grid(axis='y')
ax.set_title('Multas acumuladas por hora Jul-17')
fig.suptitle(fuente,size=10,x=1,y=-0.01)
fig.savefig('multas_hora_Jul17',bbox_inches = 'tight')

output_42_0

Con porcentajes en vez de números absolutos :

multas_hist_porcentaje=multas['hora_entera'].value_counts().sort_index(axis=0)/len(multas)*100
fig = plt.figure(1, (7,4))
ax = fig.add_subplot(1,1,1)
ax=multas_hist_porcentaje.plot.bar()
ax.locator_params(axis='y',nbins=10)
ax.set_xlabel('Hora del día')
ax.set_ylabel('% multas',size=16)
ax.grid(axis='y')
ax.set_title('Porcentajes de multas en cada hora Jul-17')
fmt = '%3.1f%%'
yticks = mtick.FormatStrFormatter(fmt)
ax.yaxis.set_major_formatter(yticks)
fig.suptitle(fuente,size=10,x=1,y=-0.01)
fig.savefig('multas_hora_porcentaje_Jul17',bbox_inches = 'tight')

output_44_0

Seguimos con la distribución de euros y puntos perdidos por hora :

multas_euros=multas.sort_values('HORA').groupby("hora_entera",sort=False).IMP_BOL
fig1 = plt.figure()
ax1 = fig1.add_subplot(1,1,1)
ax1 = multas_euros.sum().plot.bar()
ax1.locator_params(axis='y',nbins=10)
ax1.set_xlabel('Hora del día',size=16)
ax1.set_ylabel('Euros',size=16)
ax1.tick_params(axis='x',direction='out', length=6, width=2, colors='black')
#ax1.set_xticklabels(multas_euros['hora_entera'])
ax1.grid(axis='y')
ax1.set_title('Distribucion Euros de multa por hora Jul-17')
fig1.suptitle(fuente,size=10,x=1,y=-0.01)
fig.savefig('euros_hora',bbox_inches = 'tight')

output_46_0

multas_puntos=multas.sort_values('HORA').groupby("hora_entera",sort=False).PUNTOS
fig1 = plt.figure(1,(7,4))
ax1 = fig1.add_subplot(1,1,1)
ax1 = multas_puntos.sum().plot.bar()
ax1.locator_params(axis='y',nbins=10)
ax1.set_xlabel('Hora del día',size=16)
ax1.set_ylabel('Puntos',size=16)
ax1.tick_params(axis='x',direction='out', length=6, width=2, colors='black')
#ax1.set_xticklabels(multas_euros['hora_entera'])
ax1.grid(axis='y')
ax1.set_title('Distribucion Puntos por hora Jul-17')
fig1.suptitle(fuente,size=10,x=1,y=-0.01)
fig1.savefig('puntos_hora_Jul17',bbox_inches = 'tight')

output_47_0

He calculado un par de ratios de interés, euros por multa y puntos por multa a lo largo del día, viendo que la media por la noche es significativamente superior a la media del día. Aquí vemos exclusivamente que las multas de la noche traen más euros y quitan as puntos que las multas de día, cosa que parece razonable, en ambos casos vemos que la hora caliente es de 04:00 a 05:00 de la madrugada, con más de 160€ y casi 0.6 puntos por multa.

ratio_euros_multas=multas_euros.sum()/multas_hist
fig = plt.figure(1, (7,4))
ax = fig.add_subplot(1,1,1)
ax=ratio_euros_multas.plot.bar()
ax.locator_params(axis='y',nbins=10)
ax.set_xlabel('Hora del día')
ax.set_ylabel('€/multa',size=16)
ax.grid(axis='y')
ax.set_title('Media de € por multa Jul-17')
fig.suptitle(fuente,size=10,x=1,y=-0.01)
fig.savefig('media_euros_multa_Jul17',bbox_inches = 'tight')

output_49_0

ratio_puntos_multas=multas_puntos.sum()/multas_hist
fig = plt.figure(1, (7,4))
ax = fig.add_subplot(1,1,1)
ax=ratio_puntos_multas.plot.bar()
ax.locator_params(axis='y',nbins=10)
ax.set_xlabel('Hora del día')
ax.set_ylabel('Puntos/multa',size=16)
ax.grid(axis='y')
ax.set_title('Media de puntos por multas en cada hora Jul 17')
fig.suptitle(fuente,size=10,x=1,y=-0.01)
fig.savefig('media_puntos_multa_Jul17',bbox_inches = 'tight')

output_50_0

Toca ahora analizar las multas según su tipo, siguiendo con la terminología del fichero : con el HECHO_BOL, el hecho descrito en el boletín de multa. Empezamos por las multas más frecuentes según tipo, podemos ver que más de 55000 multas vienen de saltarse las restricciones de trafico en zonas con circulación limitado, como ejemplo el centro de MAdrid. Analizaremos en profundidad este hecho en otro post. Continuaremos con un par de tablas con los puntos y euros de los hechos de multas que más puntos retiran (slatarse un semaforo en rojo) y euros recaudan (circular por zonas limitadas), y esas mismas tablas pasadas a gráficos.

multas_hecho=multas.HECHO_BOL.value_counts()
fig = plt.figure(1, (7,4))
ax = fig.add_subplot(1,1,1)
ax=multas_hecho.head(10).plot.barh()
ax.locator_params(axis='y',nbins=10)
ax.locator_params(axis='x',nbins=20)
ax.set_xlabel('Número de multas',size=20)
ax.grid(axis='x')
ax.invert_yaxis()
ax.set_yticklabels(['{:>80}'.format(x.strip()[:80]) for x in multas_hecho.index],size=10)
ax.set_title('Hechos denunciados más frecuentes Jul-17')
fig.suptitle(fuente,size=10,x=1,y=-0.01)
fig.savefig('hechos_fecuentes_Jul17',bbox_inches = 'tight')

pngoutput_52_0

multas_hecho_importe=multas.groupby('HECHO_BOL')

multas_hecho_importe['IMP_BOL','PUNTOS'].sum().sort_values('PUNTOS',ascending=False).reset_index().head()
HECHO_BOL IMP_BOL PUNTOS
0 SOBREPASAR LA VELOCIDADMÁXIMA EN VÍAS LIMITADA… 2,014,600.0 8786
1 REBASAR UN SEMÁFORO EN FASE ROJA. … 426,800.0 8332
2 UTILIZAR MANUALMENTE PANTALLAS, NAVEGADORES, D… 157,600.0 2331
3 CONDUCIR CON UNA TASA DE ALCOHOLEMIA NO PERMIT… 289,000.0 1692
4 SOBREPASAR LA VELOCIDADMÁXIMA EN VÍAS LIMITADA… 4,243,700.0 1532 
multas_hecho_importe['IMP_BOL','PUNTOS'].sum().sort_values('IMP_BOL',ascending=False).reset_index().head()
HECHO_BOL IMP_BOL PUNTOS
0 NO RESPETAR LAS SEŃALES EN UNA VÍA DE CIRCULAC… 5,168,520.0 0
1 ESTACIONAR, SIN LA CORRESPONDIENTE AUTORIZACIÓ… 4,272,390.0 0
2 SOBREPASAR LA VELOCIDADMÁXIMA EN VÍAS LIMITADA… 4,243,700.0 1532
3 SOBREPASAR LA VELOCIDADMÁXIMA EN VÍAS LIMITADA… 2,014,600.0 8786
4 ESTACIONAR EN LUGAR PROHIBIDO DEBIDAMENTE SEŃA… 1,230,210.0 0 
pd_aux=multas_hecho_importe['PUNTOS'].aggregate('sum').sort_values(ascending=False).head(7)

N=5
width=.5
ind = np.arange(len(pd_aux))
fig, ax = plt.subplots()
rects = ax.barh(ind, pd_aux.values, width, align='center',color='b', label='Puntos')
ax.set_title('Simple plot')
ax.set_ylabel('Concepto de multa',size=20)
ax.set_xlabel('Acumulado euros de multas',size=16)
ax.set_yticks(ind)
ax.set_yticklabels(['{:>80}'.format(x.strip()[:80]) for x in pd_aux.index],
size=12,rotation=0,color='b')
ax.invert_yaxis()

ax.grid(axis='x')
ax.set_title('Puntos por tipo multa Jul-17')
ax.legend()
fig.suptitle(fuente,size=10,x=1,y=-0.01)

for rect in rects:
width = rect.get_width()
plt.text(width,rect.get_y()+rect.get_height()/2 ,'%1.1f%%' % (100*width/puntos_totales), size=16, ha='left', va='center')

plt.show()
fig.savefig('puntos_hecho_multa_Jul17',bbox_inches = 'tight')

output_57_0

Redondeando podemos ver que el 32% de los puntos retirados se pierden por correr en zonas de tráfico limitado a 50km/h..

pd_aux=multas_hecho_importe['IMP_BOL'].aggregate('sum').sort_values(ascending=False).head(10)

N=5
width=.5
ind = np.arange(len(pd_aux))
fig = plt.figure(1, (10,7))
ax = fig.add_subplot(1,1,1)

rects = ax.barh(ind, pd_aux.values, width, align='center',color='b', label='Euros')
ax.set_title('Simple plot')
ax.set_ylabel('Concepto de multa',size=20)
ax.set_xlabel('Acumulado euros de multas',size=16)
ax.set_yticks(ind)
ax.set_yticklabels(['{:>120}'.format(x.strip()[:120]) for x in pd_aux.index],
size=16,rotation=0,color='b')
ax.invert_yaxis()

ax.grid(axis='x')
ax.set_title('Euros por tipo multa')
ax.legend()
fig.suptitle(fuente,size=16,x=1,y=-0.01)

for rect in rects:
width = rect.get_width()
plt.text(width,rect.get_y()+rect.get_height()/2 ,'%1.1f%%' % (100*width/euros_totales), size=20, ha='left', va='center')

plt.show()
fig.savefig('euros_hecho_multa_Jul17',bbox_inches = 'tight')

output_60_0

..y el 22% de los euros recaudados vienen de multas por circular en zonas restriguidas.

Y finalmente analizaremos las multas de velocidad.
Empezamos haciendo un filtro :

multas_filtrada_velocidad=multas[multas.velocidad_circulacion!=0]

Calculando el tamaño del nuevo pandas vemos que hay 53.243 multas de velocidad.

multas_de_velocidad=len(multas_filtrada_velocidad)
multas_de_velocidad

53243

Saquemos unos cálculos interesantes

multas_filtrada_velocidad.groupby('velocidad_limite')['velocidad_circulacion'].describe()
count mean std min 25% 50% 75% max
velocidad_limite
40 206.0 63.8 6.9 54.0 59.0 62.0 68.0 88.0
50 12,073.0 67.9 6.9 53.0 63.0 66.0 71.0 100.0
60 364.0 84.3 8.8 70.0 77.0 83.0 90.0 114.0
70 34,826.0 79.6 6.5 74.0 75.0 77.0 82.0 136.0
80 20.0 98.8 6.2 93.0 94.8 97.5 101.0 117.0
90 5,754.0 100.4 6.1 95.0 96.0 99.0 102.0 152.0

Aquí podemos ver algunas características de las multas de velocidad ordenadas por la velocidad límite. Con algunas curiosidades a primera vista : la mayor parte de las multas se consiguen en zonas con 70 km/h de velocidad límite..Se ha multado a 53km/h en zonas de 50km/hr, sin embargo no se ha multado hasta los 93km/h en zona de 80km/h..aunque cierto es que el número de multas a 80km/h es despreciable : 20 de las 44.659…

Veamoslo en gráficos : número de multas

multas_filtrada_velocidad['velocidad_limite'].sort_values().unique()

array([40, 50, 60, 70, 80, 90])

multas_filtrada_velocidad.groupby('velocidad_limite')['velocidad_circulacion'].count()

velocidad_limite
40 206
50 12073
60 364
70 34826
80 20
90 5754
Name: velocidad_circulacion, dtype: int64

fig = plt.figure(1, (12,7))
width=.8
ind = np.arange(len(multas_filtrada_velocidad.groupby('velocidad_limite')['velocidad_circulacion'].aggregate('count')))

ax = fig.add_subplot(111)

rects = ax.bar(ind, multas_filtrada_velocidad.groupby('velocidad_limite')['velocidad_circulacion'].aggregate('count'),
width, align='center',color='b', label='nº multas')

ax.set_xticks(ind)
ax.set_xticklabels([x for x in multas_filtrada_velocidad['velocidad_limite'].sort_values().unique()],
size=12,rotation=0,color='b')
ax.set_xlabel('Velocidad límite en km/h')
ax.set_ylabel('Número de multas',size=16)
ax.grid(axis='y')
ax.set_title('Número de multas de velocidad por velocidad límite Jul-17')
ax.legend()
fig.suptitle(fuente,size=10,x=1,y=-0.01)

for rect in rects:
height = rect.get_height()
plt.text(rect.get_x()+rect.get_width()/2,height ,'%1.1f%%' % (100*height/multas_de_velocidad), size=10, ha='center', va='bottom')

plt.show()
fig.savefig('multas_velocidad_limite_Jul17',bbox_inches = 'tight')

output_72_0

..y un par de gráficas adicionales con la distribución de velocidad que llevaban los multados frente ordenados por la velocidad límite :

fig = plt.figure(1, (7,4))
ax = fig.add_subplot(1,1,1)
ax.plot(
multas_filtrada_velocidad[multas_filtrada_velocidad['velocidad_limite']==50]['velocidad_circulacion'].sort_values().unique(),
multas_filtrada_velocidad[multas_filtrada_velocidad['velocidad_limite']==50].groupby('velocidad_circulacion')['velocidad_circulacion'].count(),
label='50 km/h',
)

ax.plot(
multas_filtrada_velocidad[multas_filtrada_velocidad['velocidad_limite']==70]['velocidad_circulacion'].sort_values().unique(),
multas_filtrada_velocidad[multas_filtrada_velocidad['velocidad_limite']==70].groupby('velocidad_circulacion')['velocidad_circulacion'].count(),
label='70 km/h',
)
ax.plot(
multas_filtrada_velocidad[multas_filtrada_velocidad['velocidad_limite']==90]['velocidad_circulacion'].sort_values().unique(),
multas_filtrada_velocidad[multas_filtrada_velocidad['velocidad_limite']==90].groupby('velocidad_circulacion')['velocidad_circulacion'].count(),
label='90 km/h',
)

ax.locator_params(axis='x',nbins=20)
ax.set_xlabel('Velocidad en la infracción km/h')
ax.set_xlim([50,160])
ax.set_ylim([0,7000])
ax.set_ylabel('Número de multas',size=16)
ax.grid(axis='y')
ax.set_title('Distribución de velocidad de infracción por velocidad límite Jul-17')
ax.legend()

fig.suptitle(fuente,size=10,x=1,y=-0.01)
fig.savefig('distribucion_velocidad_507090_Jul17',bbox_inches = 'tight')

output_74_0

fig = plt.figure(1, (7,4))
ax = fig.add_subplot(1,1,1)
ax.plot(
multas_filtrada_velocidad[multas_filtrada_velocidad['velocidad_limite']==40]['velocidad_circulacion'].sort_values().unique(),
multas_filtrada_velocidad[multas_filtrada_velocidad['velocidad_limite']==40].groupby('velocidad_circulacion')['velocidad_circulacion'].count(),
label='40 km/h',
)

ax.plot(
multas_filtrada_velocidad[multas_filtrada_velocidad['velocidad_limite']==60]['velocidad_circulacion'].sort_values().unique(),
multas_filtrada_velocidad[multas_filtrada_velocidad['velocidad_limite']==60].groupby('velocidad_circulacion')['velocidad_circulacion'].count(),
label='60 km/h',
)
ax.plot(
multas_filtrada_velocidad[multas_filtrada_velocidad['velocidad_limite']==80]['velocidad_circulacion'].sort_values().unique(),
multas_filtrada_velocidad[multas_filtrada_velocidad['velocidad_limite']==80].groupby('velocidad_circulacion')['velocidad_circulacion'].count(),
label='80 km/h',
)

ax.locator_params(axis='x',nbins=20)
ax.set_xlabel('Velocidad en la infracción km/h')
ax.set_xlim([40,130])
ax.set_ylim([0,70])
ax.set_ylabel('Número de multas',size=16)
ax.grid(axis='y')
ax.set_title('Distribución de velocidad de infracción por velocidad límite, Jul-17')
ax.legend()

fig.suptitle(fuente,size=10,x=1,y=-0.01)
fig.savefig('dsitribibucion_velocidad_406080_Jul17',bbox_inches = 'tight')

output_75_0

Con el afan de ver las multas «extremas», no en absoluto si no con el ratio velocidad_circulacion/velocidad/limite, introducimos una nueva columna…

multas_filtrada_velocidad['ratio']=multas_filtrada_velocidad['velocidad_circulacion']/multas_filtrada_velocidad['velocidad_limite']

/Users/waly/anaconda/envs/OpenData/lib/python3.6/site-packages/ipykernel_launcher.py:1: SettingWithCopyWarning:
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy
«»»Entry point for launching an IPython kernel.

y vemos los casos extremos (head y tail)..
En la parte alta : multa catalogada como GRAVE a 88 km/hr en zona de 40km/h en la Avenida Séneca con velocida máxima 40km/h, a las 17:05…otros 500€ del ala!
..y en la parte baja : multa a 95km/h en el km de la M-30, km 27,  en zona de 90km/h a las 18:23..100€ por esos 5 km/h

multas_filtrada_velocidad.sort_values('ratio',ascending=False).head(2)
CALIFICACION LUGAR MES ANIO HORA IMP_BOL DESCUENTO PUNTOS DENUNCIANTE HECHO_BOL VEL_LIMITE VEL_CIRCULA COORDENADA_X COORDENADA_Y hora_entera velocidad_limite velocidad_circulacion ratio
231825 GRAVE S/N AV SENECA 7 2017 1900-01-01 17:05:00 500.0 SI 6 POLICIA MUNICIPAL SOBREPASAR LA VELOCIDADMÁXIMA EN VÍAS LIMITADA… 40 88 17:00 40 88 2.2
115695 GRAVE F081 PO ERMITA DEL SANTO 7 2017 1900-01-01 12:25:00 500.0 SI 6 POLICIA MUNICIPAL SOBREPASAR LA VELOCIDADMÁXIMA EN VÍAS LIMITADA… 40 88 12:00 40 88 2.2 
multas_filtrada_velocidad.sort_values('ratio',ascending=False).tail(2)
CALIFICACION LUGAR MES ANIO HORA IMP_BOL DESCUENTO PUNTOS DENUNCIANTE HECHO_BOL VEL_LIMITE VEL_CIRCULA COORDENADA_X COORDENADA_Y hora_entera velocidad_limite velocidad_circulacion ratio
231079 GRAVE M-30 CALZADA 2 KM 27.000 7 2017 1900-01-01 18:23:00 100.0 SI 0 POLICIA MUNICIPAL SOBREPASAR LA VELOCIDADMÁXIMA EN VÍAS LIMITADA… 90 95 18:00 90 95 1.1
168620 GRAVE M-30 C-2 KM 7,800 CR-CRA 7 2017 1900-01-01 02:28:00 100.0 SI 0 POLICIA MUNICIPAL SOBREPASAR LA VELOCIDADMÁXIMA EN VÍAS LIMITADA… 90 95 02:00 90 95 1.1 
<br />

Analizando el fichero de Gastos de Protocolo del Ayuntamiento de Madrid con Python, Pandas y MatplotLib

Manuel H. AriasDeja un comentario

Análisis de los Gastos de Representación del Ayuntamiento de Madrid, sacados de su portal de #OpenData del primer semestre 2017.

Fuente en : http://datos.madrid.es/sites/v/index.jsp?vgnextoid=9acf953e27827510VgnVCM2000001f4a900aRCRD&vgnextchannel=374512b9ace9f310VgnVCM100000171f5a0aRCRD

Como siempre comenzamos con la imporación de las librerías necesarias.

import pandas as pd

import numpy as np

import matplotlib

import matplotlib.pyplot as plt

import datetime

import matplotlib.dates as mdates

%matplotlib inline

import matplotlib.ticker as mtick

from matplotlib.ticker import FuncFormatter

String para referenciar la informacion al site de OpenData del Ayuntamiento de Madrid

fuente='Fuente : Ayuntamiento de Madrid, http://datos.madrid.es'

URL del fichero fuente :

path_web='http://datos.madrid.es/egobfiles/MANUAL/300058/Protocolarios%202017.csv'

Importamos los datos…

gastos=pd.read_csv(path_web,sep=";",encoding='windows-1250',index_col=False)

Veamos el formato que tienen :

gastos.columns

Index([‘APELLIDO 1’, ‘APELLIDO 2’, ‘NOMBRE’, ‘NUMTRANS’, ‘PUESTO’,
‘NOMBRE UNIDAD ADSCRIPCIÓN’, ‘NOMBRE AREA/JM/OOAA/EP’, ‘FECHA’,
‘MOTIVO’, ‘COMIDAS \nINSTITUCIONALES’, ‘PRODUCTOS \nALIMENTICIOS’,
‘FLORES’, ‘CATERING ‘, ‘TROFEOS DISTINCIONES’, ‘CONCEPTO’, ‘IMPORTE’,
‘Unnamed: 16′],
dtype=’object’)

gastos.head(2)
APELLIDO 1 APELLIDO 2 NOMBRE NUMTRANS PUESTO NOMBRE UNIDAD ADSCRIPCIÓN NOMBRE AREA/JM/OOAA/EP FECHA MOTIVO COMIDAS
INSTITUCIONALES		 PRODUCTOS
ALIMENTICIOS		 FLORES CATERING TROFEOS DISTINCIONES CONCEPTO IMPORTE Unnamed: 16
0 ARCE LEGUA ROMMY 516203.0 CONCEJAL/A PRESIDENTE/A DE DISTRITO CONCEJAL PRESIDENTE JMD ARGANZUELA JUNTA MUNICIPAL DEL DISTRITO DE ARGANZUELA NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
1 ARCE LEGUA ROMMY 516203.0 CONCEJAL/A PRESIDENTE/A DE DISTRITO CONCEJAL PRESIDENTE JMD USERA JUNTA MUNICIPAL DEL DISTRITO DE USERA 19/04/2017 Inauguración Semana del Libro en el Distrito d… NaN NaN NaN 715,00 NaN NaN NaN NaN

Llenamos los campos N/A con ceros

gastos.fillna(0,inplace=True)

Eliminamos el separador de miles (‘.’) y cambiamos el decimal por (‘.’), ya que son los utilizados en Float de Python3

gastos['IMPORTE']=gastos['IMPORTE'].apply(lambda x: float(
str(x).replace(',', '%temp%').replace('.', '').replace('%temp%', '.')))

Vemos una anomalía en el formato. Entendemos que cada fila es un gasto, del que tenemos los datos del empleado público que lo realizó fecha, motivo etc..Adicionalmente tenemos una serie de columnas en las que se describe el gasto : CATERING, FLORES; TROFEOS etc…Pero además nos encontramos con una columna ‘CONCEPTO’ y otra importe..

gastos[gastos['IMPORTE']!=0][['CONCEPTO','IMPORTE']]
CONCEPTO IMPORTE
14 Obsequios protocolarios 19.75
18 Obsequios protocolarios 399.30
22 Obsequios protocolarios 526.35
31 Recital de guitarra 605.00
33 Servicio de Guías del Museo Reina Sofía 332.75
47 Obsequios protocolarios 220.00
49 Obsequios protocolarios 110.00
53 Obsequios protocolarios 64.58
71 Pago desplazamiento de Tania Balló para asisti… 187.85
72 Organización, coordinación y difusión rueda pr… 211.75
93 Velas 40.00

Para tener datos con formato homogéneo movemos el contenido de la columna ‘CONCEPTO’ a cabececeras de columnas cuyo valor será la celda de ‘IMPORTE’ :

for x in gastos.index:
if gastos.iloc[[x]]['CONCEPTO'].values[0]!=0:
gastos.loc[x,gastos.iloc[[x]]['CONCEPTO'].values[0]]=gastos.iloc[[x]]['IMPORTE'].values[0]

gastos.columns

Index([‘APELLIDO 1’, ‘APELLIDO 2’, ‘NOMBRE’, ‘NUMTRANS’, ‘PUESTO’,
‘NOMBRE UNIDAD ADSCRIPCIÓN’, ‘NOMBRE AREA/JM/OOAA/EP’, ‘FECHA’,
‘MOTIVO’, ‘COMIDAS \nINSTITUCIONALES’, ‘PRODUCTOS \nALIMENTICIOS’,
‘FLORES’, ‘CATERING ‘, ‘TROFEOS DISTINCIONES’, ‘CONCEPTO’, ‘IMPORTE’,
‘Unnamed: 16’, ‘Obsequios protocolarios’, ‘Recital de guitarra’,
‘Servicio de Guías del Museo Reina Sofía’,
‘Pago desplazamiento de Tania Balló para asistir al acto de presentación a los medios de comunicación , dentro del Plan Memoria de Madrid, de un homenaje a las mujeres que formaron parte de la Generación del 27, en la Fundación José Ortega y Gasset-Gregori’,
‘Organización, coordinación y difusión rueda prensa música Semana Santa’,
‘Velas’],
dtype=’object’)

gastos.columns=['APELLIDO 1', 'APELLIDO 2', 'NOMBRE', 'NUMTRANS', 'PUESTO',
'NOMBRE UNIDAD', 'NOMBRE AREA', 'FECHA',
'MOTIVO', 'COMIDAS INSTITUCIONALES', 'PRODUCTOS ALIMENTICIOS',
'FLORES', 'CATERING', 'TROFEOS DISTINCIONES', 'CONCEPTO', 'IMPORTE',
'Unnamed: 16', 'Obsequios protocolarios', 'Recital de guitarra',
'Servicio de Guías del Museo Reina Sofía',
'Desp de Tania Balló',
'Rueda prensa música Semana Santa',
'Velas']

Para facilitar el trabajo definiremos una lista con las columnas relacionadas con Conceptos de gasto. Son columnas que tendrán un contenido numérico.

columnas_gastos=gastos.columns[[9,10,11,12,13,17,18,19,20,21,22]]
columnas_gastos

Index([‘COMIDAS INSTITUCIONALES’, ‘PRODUCTOS ALIMENTICIOS’, ‘FLORES’,
‘CATERING’, ‘TROFEOS DISTINCIONES’, ‘Obsequios protocolarios’,
‘Recital de guitarra’, ‘Servicio de Guías del Museo Reina Sofía’,
‘Desp de Tania Balló’, ‘Rueda prensa música Semana Santa’, ‘Velas’],
dtype=’object’)

De igual manera a como antes hicimos cambiaremos el formato del separador de miles y decimal.

for columna in columnas_gastos[0:5]:
gastos[columna]=gastos[columna].apply(lambda x: float(
str(x).replace(',', '%temp%').replace('.', '').replace('%temp%', '.')))

Creamos un par de columnas auxilares, y formateamos correctamente la columna de Fechas :
– Una de ella con la concatenacion de Nombre (‘NOMBRE’) y primer Apellido (‘APELLIDO 1’)
– La otra con la suma de todas las columnas de gastos de la fila

gastos['NOM_APELL'] = gastos.apply(lambda x: ''.join([str(x['NOMBRE']),' ',str(x['APELLIDO 1'])]), axis=1)

En la web se aclara que : «Para facilitar el análisis comparativo de los gastos, figuran todos los titulares en activo en algún momento del periodo al que se refiere el fichero, sin que conste cantidad alguna cuando no se hubiese producido algún gasto.». En nuestro caso vamos a borar esas lineas con gastos a cero.

gastos['gasto_total']=gastos[columnas_gastos].sum(axis=1)
gastos = gastos.drop(gastos[gastos.gasto_total==0].index)

<br />
gastos['FECHA']=pd.to_datetime(gastos['FECHA'],format='%d/%m/%Y')

Aseguramos que no hay celdas con N/A y eliminamos las columnas que no necesitamos

gastos.fillna(0,inplace=True)

del gastos['IMPORTE']
del gastos['CONCEPTO']
del gastos['NOMBRE']
del gastos['APELLIDO 1']
del gastos['APELLIDO 2']

Empezamos a calcular y a sacar los primeros resultados. ¿Cuánto es el total de gastos? y ¿Cuantas entradas tiene el fichero?

len(gastos)

92

total_gastos=gastos[columnas_gastos].sum().sum()
print ("{0:,.2f} euros".format(total_gastos))

31,146.54 euros

Veamos el nombre, cargo y área de las personas nominadas en la lista :

tabla_personas=gastos[['NOM_APELL','PUESTO','NOMBRE AREA']].pivot_table(index=['NOM_APELL','PUESTO','NOMBRE AREA'],aggfunc='count')
tabla_personas
NOM_APELL PUESTO NOMBRE AREA
CELIA MAYER CONCEJAL/A DE GOBIERNO AREA DE GOBIERNO DE CULTURA Y DEPORTES
ESTHER GOMEZ CONCEJAL/A PRESIDENTE/A DE DISTRITO JUNTA MUNICIPAL DEL DISTRITO DE CARABANCHEL
FRANCISCO PEREZ CONCEJAL/A PRESIDENTE/A DE DISTRITO JUNTA MUNICIPAL DEL DISTRITO DE VILLA DE VALLECAS
FRANCISCO PÉREZ CONCEJAL PRESIDENTE DE DISTRITO JUNTA MUNICIPAL DEL DISTRITO PUENTE DE VALLECAS
INES SABANES CONCEJAL/A DE GOBIERNO AREA DE GOBIERNO DE MEDIO AMBIENTE Y MOVILIDAD
JOSE JAVIER BARBERO CONCEJAL/A DE GOBIERNO AREA DE GOBIERNO DE SALUD, SEGURIDAD Y EMERGENCIAS
JOSE MANUEL CALVO CONCEJAL/A DE GOBIERNO AREA DE GOBIERNO DE DESARROLLO URBANO SOSTENIBLE
MANUELA CARMENA ALCALDE/SA ALCALDIA
CONCEJAL/A DE GOBIERNO AREA DE GOBIERNO DE CULTURA Y DEPORTES
MARTA GOMEZ CONCEJAL/A PRESIDENTE/A DE DISTRITO JUNTA MUNICIPAL DEL DISTRITO DE BARAJAS
JUNTA MUNICIPAL DEL DISTRITO DE SAN BLAS CANILLEJAS
MAURICIO VALIENTE CONCEJAL PRESIDENTE DE DISTRITO JUNTA MUNICIPAL DEL DISTRITO DE CHAMARTIN
TERCER/A TENIENTE DE ALCALDIA PLENO
PABLO CESAR CARMONA CONCEJAL/A PRESIDENTE/A DE DISTRITO JUNTA MUNICIPAL DEL DISTRITO DE MORATALAZ
ROMMY ARCE CONCEJAL/A PRESIDENTE/A DE DISTRITO JUNTA MUNICIPAL DEL DISTRITO DE USERA
YOLANDA RODRIGUEZ CONCEJAL/A PRESIDENTE/A DE DISTRITO JUNTA MUNICIPAL DEL DISTRITO DE CIUDAD LINEAL

Vemos como por ejemplo nuestra Alcaldesa reporta los gastos desde sus dos funciones :
– Alcaldesa
– Concejala de deportes

Calculemos los gastos presentados por cada una de las personas :

gastos_nombre=gastos.groupby(['NOM_APELL'])['gasto_total']
gastos_nombre.sum().sort_values(ascending=False)

NOM_APELL
MANUELA CARMENA 21831.73
MAURICIO VALIENTE 3789.25
CELIA MAYER 1021.60
PABLO CESAR CARMONA 893.75
ESTHER GOMEZ 796.00
ROMMY ARCE 715.00
JOSE JAVIER BARBERO 464.86
MARTA GOMEZ 423.06
FRANCISCO PÉREZ 319.00
YOLANDA RODRIGUEZ 250.24
JOSE MANUEL CALVO 233.05
FRANCISCO PEREZ 209.00
INES SABANES 200.00
Name: gasto_total, dtype: float64

Manuela Carmena, lógicamente asociado a  la máxima posición en la jerarquia, tiene el volumen más alto de gasto de representación y protocolo. Bajo mi punto de vista es una señal de buena práctica corporativa. Veámoslo a continuación en una tabla, con referencia adicional al porcentaje sobre el gasto total :

pd_aux=gastos_nombre.sum().sort_values(ascending=False)
width=.5
ind = np.arange(len(pd_aux))

fig = plt.figure(1, (10,7))
ax = fig.add_subplot(1,1,1)

rects = ax.barh(ind,pd_aux.values, width, align='center',color='b', label='Euros')
ax.set_title('Simple plot')
ax.set_ylabel('Concepto de gasto',size=20)
ax.set_xlabel('Euros',size=16)
ax.set_yticks(ind)
ax.set_yticklabels(['{:>20}'.format(x.strip()[:20]) for x in pd_aux.index],
size=12,rotation=0,color='b')
ax.invert_yaxis()
ax.get_xaxis().set_major_formatter(
matplotlib.ticker.FuncFormatter(lambda x,P: format(int(x), ',')))

ax.set_xticks([x for x in range(0,25000,2000)])

ax.grid(axis='x')
ax.set_title('Gasto por concepto')
ax.legend(loc=5)
fig.suptitle(fuente,size=20,x=1,y=0.01)

for rect in rects:
width = rect.get_width()
plt.text(width,rect.get_y()+rect.get_height()/2 ,'%1.1f%%' % (100*width/total_gastos), size=16, ha='left', va='center')

plt.show()
fig.savefig('gastos_persona',bbox_inches = 'tight')

output_53_0

Calculemos ahora los gastos por posición y no por nombre :

gastos_depto=gastos.groupby(['NOMBRE UNIDAD'])['gasto_total']
gastos_depto.sum().sort_values(ascending=False)

NOMBRE UNIDAD
ALCALDE 21710.04
CONCEJAL PRESIDENTE JMD 2239.80
PLENO 1549.45
DELEGACION AREA DE GOBIERNO DE CULTURA Y DEPORTES 1143.29
CONCEJAL PRESIDENTE JMD MORATALAZ 893.75
CONCEJAL PRESIDENTE JMD CARABANCHEL 796.00
CONCEJAL PRESIDENTE JMD USERA 715.00
DELEGACION AREA DE GOBIERNO DE SALUD, SEGURIDAD,Y EMERGENCIAS 464.86
CONCEJAL PRESIDENTE JMD SAN BLAS CANILLEJAS 384.56
CONCEJAL PRESIDENTE JMD PUENTE DE VALLECAS 319.00
CONCEJAL PRESIDENTE JMD CIUDAD LINEAL 250.24
DELEGADO AREA DE GOBIERNO DE DESARROLLO URBANO SOSTENIBLE 233.05
CONCEJAL PRESIDENTE JMD VILLA DE VALLECAS 209.00
DELEGACION AREA DE GOBIERNO DE MEDIO AMBIENTE Y MOVILIDAD 200.00
CONCEJAL PRESIDENTE JMD BARAJAS 38.50
Name: gasto_total, dtype: float64

Vemos que como Alcaldesa Manuela Carmena tiene 21.710 €, muy poco menos que el total a su nombre. Veamos esos resultados en un gráfico, con porcentajes también para ver los números relativos

pd_aux=gastos_depto.sum().sort_values(ascending=False)
N=5
width=.5
ind = np.arange(len(pd_aux))

fig = plt.figure(1, (10,7))
ax = fig.add_subplot(1,1,1)

rects = ax.barh(ind,pd_aux.values, width, align='center',color='b', label='Miles de Euros')
ax.set_title('Simple plot')
ax.set_ylabel('Concepto de gasto',size=20)
ax.set_xlabel('Acumulado miles de euros',size=16)
ax.set_yticks(ind)
ax.set_yticklabels(['{:>50}'.format(x.strip()[:50]) for x in pd_aux.index],
size=12,rotation=0,color='b')
ax.invert_yaxis()
ax.get_xaxis().set_major_formatter(
matplotlib.ticker.FuncFormatter(lambda x,P: format(int(x/1000), ',')))

ax.set_xticks([x for x in range(0,24000,2000)])
ax.grid(axis='x')
ax.set_title('Gasto por concepto')
ax.legend(loc=5)
fig.suptitle(fuente,size=20,x=1,y=0.01)

for rect in rects:
width = rect.get_width()
plt.text(width,rect.get_y()+rect.get_height()/2 ,'%1.1f%%' % (100*width/total_gastos), size=16, ha='left', va='center')

plt.show()
fig.savefig('gastos_persona',bbox_inches = 'tight')

output_57_0

Otra tabla : distribución de gasto por concepto (los relacionados en columnas_gastos)

pd_aux=gastos[columnas_gastos].sum().sort_values(ascending=True)
N=5
width=.5
ind = np.arange(len(pd_aux))
fig, ax = plt.subplots()
rects = ax.barh(ind, pd_aux.values, width, align='center',color='b', label='Euros')
ax.set_title('Simple plot')
ax.set_ylabel('Concepto de gasto',size=20)
ax.set_xlabel('Acumulado euros',size=16)
ax.set_yticks(ind)
ax.set_yticklabels(['{:>60}'.format(x.strip()[:60]) for x in pd_aux.index],
size=12,rotation=0,color='b')
#ax.invert_yaxis()

ax.grid(axis='x')
ax.set_title('Gasto por concepto')
ax.legend(loc=4)
fig.suptitle(fuente,size=10,x=1,y=-0.01)

for rect in rects:
width = rect.get_width()
plt.text(width,rect.get_y()+rect.get_height()/2 ,'%1.1f%%' % (100*width/total_gastos), size=14, ha='left', va='center')

plt.show()
fig.savefig('gastos_euros_concepto',bbox_inches = 'tight')

output_59_0

A continuación veamos la distribución por eventos, es decir filtrando por los motivos incluidos en cada uno de los gastos. Hemos limitado, con el objetivo de que quede una gráfica legible, a 20 eventos. He incluido dos gráficas : la primera con los 20 eventos con mayor gasto y otra equivalente con los 20 con menor gasto.

gastos_motivo=gastos.groupby(['MOTIVO'])['gasto_total']
gastos_motivo.sum().sort_values(ascending=False)

MOTIVO
Adquisición de Llaves de Oro de la Villa, para su entrega al Presidente de la República Argentina D. Mauricio Macri y otra para stock para futuras visitas de Estado 3243.36
Atención protocolaria con motivo del Acto Jubilados del Ayuntamiento de Madrid 2016, celebrado en los Jardines de Cecilio Rodríguez 2970.00
Atención protocolaria con motivo de la entrega de medallas de Oro de la Ciudad 2805.00
Atención protocolaria con motivo de la Presentación Madrid en FIL 2017 (Feria Internacional del Libro de Guadalajara, México) bajo el lema «Ganarás la Luz» 1958.00
Atención protocolaria con motivo del acto de inauguración de la exposición de pintura municipal «La mirada de nuestro tiempo» 1169.74
Cóctel inauguración asignación nombre «Manuel Alonso Zapata» a sala exposiciones Centro Cultural Nicolás Salmerón. Asociaciones de Vecinos y Grupos Municipales del distrito. 1000.00
Cóctel inauguración Centro Socio Comunitario Colonias Históricas de Chamartín. Asociaciones de Vecinos y Grupos Municipales del distrito. 952.00
Atención protocolaria con motivo de la visita institucional de los participantes en el Digital Entreprise Show, Presidentes de las empresas Partner, Ceos, Country Manager y embajadores de Israel y Suecia, entre otros 949.41
Adquisición de obsequios para su entrega como atención institucional y protocolaria 925.65
Placa entregada con ocasión aniversario liberación campo de Mauthausen, en recuerdo y homenaje a los madrileńos que sufrieron los horrores de los campos de concentración nazi 907.50
Rosquillas para los centros municipales de mayores con motivo de las Fiestas de San Isidro 796.00
Inauguración Semana del Libro en el Distrito de Usera 715.00
Atención institucional y protocolaria con motivo de la celebración del Pleno de Adolescentes 686.40
Atención protocolaria celebrada con motivo de la visita institucional del Presidente de Ecuador, Excmo. Sr. Don Rafael Correa 660.00
Atención protocolaria de carácter institucional con motivo de la presencia en Madrid de alcaldes y autoridades de varios países, para asistir al Foro Mundial sobre las Violencias Urbanas y Educación para la Convivencia y la Paz 654.50
Recital de guitarra como atención protocolaria en el acto de inauguración del Jardín de los Combatientes de la Nueve, al que asistieron entre otros la Alcaldesa de París, Anne Hidalgo 605.00
Organización del acto de presentación de la programación musical de la edición 2017 de la Semana Santa, en la capilla del Museo de Historia 563.75
Adquisición de medallas de Oro de la Ciudad para su entrega en la Fiesta de San Isidro 540.53
Servicio de catering para acto de presentación a los medios de comunicación, dentro del Plan Memoria de Madrid, de un homenaje a las mujeres que formaron parte de la Generación del 27, en la Fundación José Ortega y Gasset-Gregorio Marańón 457.85
Adquisición de flores para el acto protocolario de inauguración del Jardín de los Combatientes de la Nueve, al que asistieron entre otros la Alcaldesa de París, Anne Hidalgo 432.00
Adquisición de medallas de oro, plata y bronce, para su entrega en el Concurso de Rosas Nuevas 333.96
Atención protocolaria a las autoridades invitadas asistentes al Foro Mundial sobre las Violencias Urbanas y Educación para la Convivencia y la Paz, celebrado el 21 de abril de 2017, consistente en un servicio de Guía en castellano y otro Guía en inglés pa 332.75
Desayuno sesión Foro Local de Moratalaz 330.00
Sesión Foro Local de Moratalaz 330.00
Atención protocolaria con motivo de la visita institucional de los integrantes de la Alegre Cofradía del Entierro de la Sardina, durante la Fiesta del Carnaval 2017 323.40
Atención protocolaria. Centros de flores, con motivo de la visita institucional del Presidente de Ecuador, Excmo. Sr. Don Rafael Correa 320.00
Ofrenda floral Estación del Pozo. Conmemoración 319.00
Comida ofrecida a los miembros del Comisionado de la Memoria Histórica 277.50
Atención protocolaria con motivo del pregón de la Fiesta de San Isidro 272.49
Atención protocolaria con motivo de la celebración el día 9 de mayo de 2017 en el Palacio de Cibeles, del I Encuentro de Municipios Madrileńos Comprometidos con el Refugio, en materia de acogida personas migrantes y refugiadas 250.02
…
Atención institucional y protocolaria, con motivo de la recepción en el Palacio de Cibeles al Real Madrid, como campeón de la Champios League 2017 110.00
Atención protocolaria con motivo de la visita institucional de la Asociación de Cámaras de Comercio Europeas, en la Sala de Madera del Palacio de Cibeles 106.26
Atención protocolaria con motivo de la recepción a un grupo de profesores y alumnos de la Fundación International Studies Miami, en la Sala de Madera del Palacio de Cibeles 94.78
Reunión con Director de Gabinete, Gerente Organismo Autonomo Madrid Salud, Subdirector General de Prevención y Promoción de la Salud y la Jefa de Servicio de Prevención y Promoción de Salud, para tratar el tema sobre reorientación del organismo Autónomo M 81.20
Gasto suplido por adquisición de flores para el acto protocolario de inauguración del Jardín de los Combatientes de la Nueve, al que asistieron entre otros la Alcaldesa de París, Anne Hidalgo (Grujeval SL) 75.00
Atención protocolaria con motivo de la visita institucional del Gobernador de San Petesburgo y su Delegación 73.49
Flores entregadas en Mauthausen, en recuerdo y homenaje a los madrileńos que sufrieron los horrores de los campos de concentración nazi 68.40
Reunión con Coordinador General de Seguridad y Emergencias, Director de Gabinete, Asesor, Sargento de Policia, para tratar el tema sobre la unidad de gestión por la diversidad 67.20
Atención protocolaria con motivo de la celebración en el Palacio de Cibeles, de un Encuentro de Mediación Escolar con Centros Educativos de Primaria y Secundaria 64.58
Comida ofrecida a especialistas en Derechos Humanos pertenecientes a la Universidad Autónoma y Complutense de Madrid 63.25
Atención protocolaria con motivo de la visita de miembros de la Asociación de Familiares de Víctimas del accidente del Yack42 54.54
Desayuno ofrecido a los miembros del Comisionado de la Memoria Histórica 49.15
Encuentro equipo de trabajo preparatorio Foro Local de Chamartín. Total 3 comensales 47.80
Atención protocolaria con motivo de la visita institucional del Canciller de México, a quien acompańaban la Embajadora de México en Espańa y una delegación de ese país 45.75
Entrega de velas para el acto de encendido de velas conmemorativas en el Día Internacional de Conmemoración Anual en Memoria de las Victimas del Holocausto 40.00
Con motivo del Día Internacional de la Mujer, el 8 de marzo, se obsequia con un clavel morado a todas las mujeres que asistan al Pleno del Distrito, que se celebra el mismo día 38.50
Atención protocolaria con motivo de la visita de una delegación de Israel, encabezada por el Alcalde de Tel Aviv, Mr. Ron Huldai y por el Embajador de ese país en Espańa, Mr. Daniel Kutner 37.95
Reunión con Coordinador General de Seguridad y Emergencias, Asesor, Director General de Policia Municipal; Inspector Jefe, Subinspector, Oficial Subinspección territorial de Villa de Vallecas, subinspector Territorial de Puente de Vallecas, Oficial Subins 32.00
Reunión con el Secretario General de Caritas Espańola, para tratar temas relacionados con el acceso a la salud de la población vulnerable 30.80
Reunión con estudiante para tratar tema sobre participación y problemas de botellón 25.00
Atención protocolaria con motivo de la visita de los familiares de D. Leopoldo López 24.50
Atención protocolaria con motivo de la visita institucional del Presidente de la Generalitat D. Carles Puigdemont y del Vicepresidente D. Oriol Junqueras 24.50
Reunión con experta en adicciones para tratar el tema sobre la problemática de las adicciones 23.60
Reunión con Director General de Seguridad de Madrid destino para tratar temas relativos a seguridad 22.30
Reunion con Concejal del Grupo Municipal PSOE para la realización de análisis político 20.30
Atención protocolaria a la Alcaldesa de Roma Dońa Virginia Raggi, al Palazzo Senatorio en Roma 19.75
Reunión con representante de Forum de Ciudadanos para la Paz para tratar temas relativos a la seguridad 19.00
Pegamento para la placa entregada con ocasión aniversario liberación campo de Mauthausen, en recuerdo y homenaje a los madrileńos que sufrieron los horrores de los campos de concentración nazi 15.80
Atención protocolaria con motivo de la cuestación contra el cáncer, organizada por la Asociación Espańola contra el Cáncer, ofreciéndose un desayuno a los integrantes de la mesa que se instaló en la Plaza de Cibeles 11.10
Café ofrecido a los participantes en el 1ş Encuentro en la Casa de Cisneros «Homenaje a Herman Heller» 8.85
Name: gasto_total, Length: 82, dtype: float64

pd_aux=gastos_motivo.sum().sort_values(ascending=False).head(20)
N=5
width=.7
ind = np.arange(len(pd_aux))

fig = plt.figure(1, (30,30))
ax = fig.add_subplot(1,1,1)

rects = ax.barh(ind,pd_aux.values, width, align='center',color='b', label='Euros')

ax.set_ylabel('Concepto de gasto',size=30)
ax.set_xlabel('Acumulado en euros',size=30)
ax.set_yticks(ind)
ax.set_yticklabels(['{:>100}'.format(x.strip()[:100]) for x in pd_aux.index],
size=40,rotation=0,color='b')
ax.invert_yaxis()
ax.get_xaxis().set_major_formatter(
matplotlib.ticker.FuncFormatter(lambda x,P: format(int(x), ',')))

ax.set_xticks([x for x in range(0,4000,500)])
for item in (ax.get_xticklabels()):
item.set_fontsize(35)

ax.grid(axis='x')
ax.set_title('Eventos',size=40)
ax.legend(loc=5,fontsize=40)
fig.suptitle(fuente,size=40,x=1,y=0.01)

for rect in rects:
width = rect.get_width()
plt.text(width,rect.get_y()+rect.get_height()/2 ,'%1.1f%%' % (100*width/total_gastos), size=35, ha='left', va='center')

plt.show()
fig.savefig('gastos_evento',bbox_inches = 'tight')

output_62_0

pd_aux=gastos_motivo.sum().sort_values(ascending=False).tail(20)
N=5
width=.7
ind = np.arange(len(pd_aux))

fig = plt.figure(1, (30,30))
ax = fig.add_subplot(1,1,1)

rects = ax.barh(ind,pd_aux.values, width, align='center',color='b', label='Euros')

ax.set_ylabel('Concepto de gasto',size=40)
ax.set_xlabel('Acumulado en euros',size=40)
ax.set_yticks(ind)
ax.set_yticklabels(['{:>100}'.format(x.strip()[:100]) for x in pd_aux.index],
size=40,rotation=0,color='b')
ax.invert_yaxis()
ax.get_xaxis().set_major_formatter(
matplotlib.ticker.FuncFormatter(lambda x,P: format(int(x), ',')))

ax.set_xticks([x for x in range(0,200,50)])
for item in (ax.get_xticklabels()):
item.set_fontsize(40)

ax.grid(axis='x')
ax.set_title('Eventos',size=30)
ax.legend(loc=5,fontsize=50)
fig.suptitle(fuente,size=40,x=1,y=0.01)

for rect in rects:
width = rect.get_width()
plt.text(width,rect.get_y()+rect.get_height()/2 ,'%1.1f%%' % (100*width/total_gastos), size=40, ha='left', va='center')

plt.show()
fig.savefig('gastos_evento',dpi=200,bbox_inches = 'tight')

output_63_0

Y veamos que se pueden limitar los gráficos a una persona en particular. Veamos aqui la misma serie anterior, pero filtrada para presentar sólo los datos de la Alcaldesa Carmena.

pd_aux=gastos[gastos['NOM_APELL']=='MANUELA CARMENA'][columnas_gastos].sum().sort_values(ascending=True)
gastos_carmena=pd_aux.sum()
N=5
width=.5
ind = np.arange(len(pd_aux))
fig, ax = plt.subplots()
rects = ax.barh(ind, pd_aux.values, width, align='center',color='b', label='Euros')
ax.set_title('Simple plot')
ax.set_ylabel('Concepto de gasto',size=20)
ax.set_xlabel('Acumulado euros',size=16)
ax.set_yticks(ind)
ax.set_yticklabels(['{:>60}'.format(x.strip()[:60]) for x in pd_aux.index],
size=12,rotation=0,color='b')
#ax.invert_yaxis()

ax.grid(axis='x')
ax.set_title('Gasto por concepto')
ax.legend(loc=4)
fig.suptitle(fuente,size=10,x=1,y=-0.01)

for rect in rects:
width = rect.get_width()
plt.text(width,rect.get_y()+rect.get_height()/2 ,'%1.1f%%' % (100*width/gastos_carmena), size=14, ha='left', va='center')

plt.show()
fig.savefig('gastos_euros_concepto',bbox_inches = 'tight')

output_65_0

gastos_motivo=gastos[gastos['NOM_APELL']=='MANUELA CARMENA'].groupby(['MOTIVO'])['gasto_total']
pd_aux=gastos_motivo.sum().sort_values(ascending=False).head(30)
width=.5
ind = np.arange(len(pd_aux))

fig = plt.figure(1, (30,30))
ax = fig.add_subplot(1,1,1)

rects = ax.barh(ind,pd_aux.values, width, align='center',color='b', label='Euros')

ax.set_ylabel('Concepto de gasto',size=40)
ax.set_xlabel('Acumulado en euros',size=40)
ax.set_yticks(ind)
ax.set_yticklabels(['{:>100}'.format(x.strip()[:100]) for x in pd_aux.index],
size=50,rotation=0,color='b')
ax.invert_yaxis()
ax.get_xaxis().set_major_formatter(
matplotlib.ticker.FuncFormatter(lambda x,P: format(int(x), ',')))

ax.set_xticks([x for x in range(0,4000,500)])
for item in (ax.get_xticklabels()):
item.set_fontsize(40)

ax.grid(axis='x')
ax.set_title('Eventos',size=40)
ax.legend(loc=5,fontsize=50)
fig.suptitle(fuente,size=40,x=1,y=0.01)

for rect in rects:
width = rect.get_width()
plt.text(width,rect.get_y()+rect.get_height()/2 ,'%1.1f%%' % (100*width/gastos_carmena), size=40, ha='left', va='center')

plt.show()
fig.savefig('gastos_evento',bbox_inches = 'tight')

output_66_0

gastos_motivo=gastos[gastos['NOM_APELL']=='MANUELA CARMENA'].groupby(['MOTIVO'])['gasto_total']
pd_aux=gastos_motivo.sum().sort_values(ascending=False).tail(30)
N=5
width=.5
ind = np.arange(len(pd_aux))

fig = plt.figure(1, (30,30))
ax = fig.add_subplot(1,1,1)

rects = ax.barh(ind,pd_aux.values, width, align='center',color='b', label='Euros')

ax.set_ylabel('Concepto de gasto',size=40)
ax.set_xlabel('Acumulado en euros',size=40)
ax.set_yticks(ind)
ax.set_yticklabels(['{:>100}'.format(x.strip()[:100]) for x in pd_aux.index],
size=50,rotation=0,color='b')
ax.invert_yaxis()
ax.get_xaxis().set_major_formatter(
matplotlib.ticker.FuncFormatter(lambda x,P: format(int(x), ',')))

ax.set_xticks([x for x in range(0,500,50)])

for item in (ax.get_xticklabels()):
item.set_fontsize(50)

ax.grid(axis='x')
ax.set_title('Eventos',size=40)
ax.legend(loc=5,fontsize=40)
fig.suptitle(fuente,size=40,x=1,y=0.01)

for rect in rects:
width = rect.get_width()
plt.text(width,rect.get_y()+rect.get_height()/2 ,'%1.1f%%' % (100*width/gastos_carmena), size=40, ha='left', va='center')

plt.show()
fig.savefig('gastos_evento',bbox_inches = 'tight')

output_67_0

Se me ocurre preparar una gráfica como la anterior, pero categorizando los gastos según su concepto (de nuevo bajo columnas_gastos)

lista_ordenada=gastos.sort_values('gasto_total',ascending=False).head(20)

ind = np.arange(len(lista_ordenada))
fig = plt.figure(1, (30,30))
ax = fig.add_subplot(1,1,1)
width=.5
suelo=0

for i in columnas_gastos:
ax.barh(ind,lista_ordenada[i], width, align='center',
label=i[0:30],left=suelo)
suelo=suelo+lista_ordenada[i]

#ax.set_ylabel('Concepto de gasto',size=50)
ax.set_xlabel('Acumulado en euros',size=50)
ax.set_yticks(ind)
ax.set_yticklabels(['{:>100}'.format(x.strip()[:100]) for x in lista_ordenada['MOTIVO']],
size=50,rotation=0,color='b')
ax.invert_yaxis()
ax.get_xaxis().set_major_formatter(
matplotlib.ticker.FuncFormatter(lambda x,P: format(int(x), ',')))

ax.set_xticks([x for x in range(0,4000,500)])
for item in (ax.get_xticklabels()):
item.set_fontsize(50)

ax.grid(axis='x')
ax.set_title('Eventos',size=50)
ax.legend(loc=4,fontsize=50)
fig.suptitle(fuente,size=50,x=1,y=0.01)

plt.show()
fig.savefig('gastos_evento',bbox_inches = 'tight')

output_70_0

Para finalizar juguemos un poco con las fechas..

raw = gastos.sort_values('FECHA')['FECHA']
vals= gastos.sort_values('FECHA')['gasto_total']
fig, ax = plt.subplots()
ax.plot_date(raw, vals)
date_fmt = '%m-%y'
date_formatter = mdates.DateFormatter(date_fmt)
ax.xaxis.set_major_formatter(date_formatter)
fig.autofmt_xdate()
plt.show()

output_72_0

Vemos que hay un gasto del año pasado. Bien por la transparencia al haberse incluido, pero nos deja el gráfico descolocado!. Identifiquemosló para eliminarlo :

gastos[gastos['FECHA']<datetime.datetime.strptime('01/01/2017', "%d/%m/%Y")][['NOM_APELL','PUESTO','FECHA','MOTIVO','gasto_total']]
NOM_APELL PUESTO FECHA MOTIVO gasto_total
67 ESTHER GOMEZ CONCEJAL/A PRESIDENTE/A DE DISTRITO 2016-05-13 Rosquillas para los centros municipales de may… 796.0 
print (gastos.loc[[67]]['MOTIVO'].values[0])

Rosquillas para los centros municipales de mayores con motivo de las Fiestas de San Isidro

Generemos de nuevo la gráfica eliminando esa entrada :

raw = gastos[gastos['FECHA']>datetime.datetime.strptime('01/01/2017','%d/%m/%Y')].sort_values('FECHA')['FECHA']
vals= gastos[gastos['FECHA']>datetime.datetime.strptime('01/01/2017','%d/%m/%Y')].sort_values('FECHA')['gasto_total']
#fig, ax = plt.subplots()
fig = plt.figure(1, (12,7))
ax = fig.add_subplot(1,1,1)
ax.plot_date(raw, vals)
ax.tick_params(axis='x',length=10)
ax.xaxis.set_major_locator(mdates.DayLocator(bymonthday=(1,10,20)) )
date_fmt ='%d-%m'
ax.xaxis.set_major_formatter(mdates.DateFormatter(date_fmt))
fig.autofmt_xdate()
plt.show()

output_77_0

Ahora queda una gráfica mucho más clara. Sólo por jugar un poco más con ella veamos la acumulación de gastos alrededor del 20 de Abril. Para ello filtramos los datos a los días entre el 18 y el 22 de April.

inicio=datetime.datetime.strptime('18/04/2017','%d/%m/%Y')
final=datetime.datetime.strptime('22/04/2017','%d/%m/%Y')
raw = gastos[(gastos['FECHA']>inicio) & (gastos['FECHA']<final)].sort_values('FECHA')['FECHA'] vals= gastos[(gastos['FECHA']>inicio) & (gastos['FECHA']<final)].sort_values('FECHA')['gasto_total']
#fig, ax = plt.subplots()
fig = plt.figure(1, (10,7))
ax = fig.add_subplot(1,1,1)
ax.plot_date(raw, vals)
ax.tick_params(axis='x',length=10)
ax.xaxis.set_major_locator(mdates.DayLocator(interval=1) )
date_fmt ='%d-%m'
ax.xaxis.set_major_formatter(mdates.DateFormatter(date_fmt))
fig.autofmt_xdate()
plt.show()

output_79_0

Efectivamente vemos que el día 20 se reportaron varios gastos. Identifiquémoslos en una tabla :

gastos[gastos['FECHA']==datetime.datetime.strptime('20/04/2017', "%d/%m/%Y")][['NOM_APELL','PUESTO','FECHA','MOTIVO','gasto_total']]
NOM_APELL PUESTO FECHA MOTIVO gasto_total
28 MANUELA CARMENA ALCALDE/SA 2017-04-20 Adquisición de flores para el acto protocolari… 432.00
29 MANUELA CARMENA ALCALDE/SA 2017-04-20 Gasto suplido por adquisición de flores para e… 75.00
30 MANUELA CARMENA ALCALDE/SA 2017-04-20 Atención protocolaria con motivo de la visita … 45.75
31 MANUELA CARMENA ALCALDE/SA 2017-04-20 Recital de guitarra como atención protocolaria… 605.00
32 MANUELA CARMENA ALCALDE/SA 2017-04-20 Atención protocolaria de carácter instituciona… 654.50
80 YOLANDA RODRIGUEZ CONCEJAL/A PRESIDENTE/A DE DISTRITO 2017-04-20 Acto Inauguración Jardín Combatientes de La Nu… 120.00
87 MAURICIO VALIENTE CONCEJAL PRESIDENTE DE DISTRITO 2017-04-20 Cóctel inauguración Centro Socio Comunitario C… 952.00

Hemos terminado…hemos visto como usar Python3, Pandas y MathPlotLib para importar una tabla de Datos Abiertos, ver el formato, realizar unos arreglos para preparala y empezar a sacar resultados presentándolos en modo tabla y gráficos. Reitero el agradecimiento al Ayuntamiento de Madrid por este ejercicio de transparencia.

He repasado los resultados varias veces. Si aun así detectan algún error ruego que me lo comuniquen (mharias@me.com) y lo subsanaré lo más urgente que pueda. Pido de antemano disculpas si encuentran algo incorrecto.