andreslucena / congreso_datos_diputado

Congreso: Datos diputado

Scrapes www.congreso.es

Congreso de los Diputados


Este script parsea una de las webs de congreso.es y por cada diputado en el Congreso guarda:

  • su id unico en la web del Congreso
  • su nombre y apellidos
  • la URL de su perfil en la web del Congreso
  • la URL de la foto de su perfil en la web del Congreso
  • la URL a la Declaración de Bienes y de Actividades
  • El cargo que tiene (Diputado o Diputada)
  • La posición en sector, fila y butaca
  • Su correo electrónico
  • El partido y grupo parlamentario (si tiene alguno) al que pertenece
  • Su curriculum
  • Su fecha de nacimiento
  • Su estado civil
  • La legislatura actual y las legislaturas anteriores en las que haya estado
  • Las comisiones en las que participa
  • La circunscripción a la que pertenece
  • Redes sociales:
    • El nombre del usuario en twitter
    • La URL a su web personal
    • La URL a su perfil en Facebook
    • La URL a su perfil en Flickr
    • La URL a su perfil en Linkedin
    • La URL a su perfil en YouTube
    • La URL a su perfil en Instagram

Basado en el trabajo de Pablo Castellano para la Legislatura X, adaptado para la XII. Se han unificado estos scripts y se han migrado de ScraperWiki a morph.io

Desarrollo

Para preparar el entorno de desarrollo y testing en local, con Ubuntu 16.04, recomendamos usar entornos virtuales. Ejecutamos lo siguiente:

sudo apt-get install libxml2-dev libxslt1-dev python3-dev  python3-venv
python3 -m venv env3
source bin/activate
pip install -r requirements.txt 
python scraper.py

Producción

Ver en morph.io

TODO

  • Arreglar bug en columna de estado_civil (sale parte del Curriculum)

Forked from ScraperWiki

Contributors andreslucena PabloCastellano

Last run failed with status code 1.

Console output of last run

Injecting configuration and compiling... Injecting scraper and running... Traceback (most recent call last): File "scraper.py", line 164, in <module> scrape.start() File "scraper.py", line 74, in start self.parse_and_save(url, xmlroot, ident) File "scraper.py", line 129, in parse_and_save assert(False) AssertionError

Data

Downloaded 14 times by andreslucena MikeRalphson davidemdot PabloCastellano BlackOsint

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (429 KB) Use the API

rows 10 / 382

url_foto apellidos cargos_anteriores pos_fila id cargo nombre email partido curriculum grupo_parlamentario declaracion_bienes_url pos_butaca declaracion_actividades_url circunscripcion nacimiento pos_sector legislatura comisiones estado_civil twitter facebook_url web flickr_url linkedin_url youtube_url instagram_url url
Ibáñez Gimeno
Diputado de la X legislatura
8
384
Diputado
 Manuel
PP
Licenciado en Medicina y Cirugía por la Universidad de Zaragoza 1973-1979. Médico Inspector. Candidato a las elecciones municipales del año 1995. Onda (Castellón)
G.P. Popular ( GP )
18
Castellón
1 de enero de 1955
2
X Legislatura ( 2011-Actualidad )
Comisión de Sanidad y Servicios Sociales; Comisión Mixta Control Parlam. de la Corporación RTVE y sus Sociedades; Comisión para el Estudio del Cambio Climático
Casado. 2 hijos.
Jiménez Díaz
Diputada de la X legislatura
8
353
Diputada
 María Piedra Escrita
mariap.jimenez@congreso.es
PP
G.P. Popular ( GP )
17
Badajoz
12 de enero de 1951 en Campanario (Badajoz)
2
X Legislatura ( 2011-Actualidad )
Comisión de Hacienda y Administraciones Públicas; Comisión Mixta para el Estudio del Problema de las Drogas; Comisión para el Estudio del Cambio Climático; Ponencia de estudio de perspectivas en abordaje de adicciones (154/5)
Casada, 5 hijos. Maestra. Jubilación anticipada LOE. 2007-2011 Alcaldesa de Campanario (Badajoz)
Jiménez Mínguez
Diputada de la X legislatura
8
363
Diputada
 Encarnación
PP
G.P. Popular ( GP )
16
Guadalajara
15 de febrero de 1966 en Landete (Cuenca)
2
X Legislatura ( 2011-Actualidad )
Comisión de Hacienda y Administraciones Públicas; Comisión de Fomento; Comisión de Industria, Energía y Turismo; Comisión de Cooperación Internacional para el Desarrollo; Comisión de Cultura; Comisión de Seguimto. y Evaluación de los Acuerdos del Pacto de Toledo; Comisión Mixta para las Relaciones con el Tribunal de Cuentas; Ponencia Proy. L.O. control deuda comercial sector público (121/63)
Licenciada en Derecho. Tercera Teniente de Alcalde del Ayuntamiento de Guadalajara.
Marcos Domínguez
Diputada de la X legislatura
8
377
Diputada
 Pilar
pilar.marcos@congreso.es
PP
Licenciada en Ciencias Económicas por la UAM (Premio Extraordinario de Licenciatura) Máster de Periodismo. (UAM) Diplomada IESE Directora de Publicaciones de la Fundación FAES (2006-2012). Coordinadora General de Estudios del Ayuntamiento de Madrid (2012). Secretaria de Formación Política del PP de Madrid. Miembro del Comité de Dirección del PP de Madrid
G.P. Popular ( GP )
01
Madrid
22 de mayo de 1962
3
X Legislatura ( 2011-Actualidad )
Comisión de Economía y Competitividad; Comisión de Educación y Deporte; Comisión de Empleo y Seguridad Social; Comisión de Sanidad y Servicios Sociales; Comisión de Cultura; Comisión de Seguimto. y Evaluación de los Acuerdos del Pacto de Toledo; Subcomisión de Estudio sobre las Redes Sociales (154/7)
Casada. Una hija.
pilarmarcosd
Martín Pozo
Diputada de la X legislatura
6
354
Diputada
 María Teresa
teresa.martin@congreso.es
PP
G.P. Popular ( GP )
08
Zamora
26 de febrero de 1966 en Zamora
2
X Legislatura ( 2011-Actualidad )
Comisión de Empleo y Seguridad Social; Comisión de Sanidad y Servicios Sociales; Comisión de Cultura; Comisión de Igualdad; Comisión de Seguimto. y Evaluación de los Acuerdos del Pacto de Toledo; Comisión para las Políticas Integrales de la Discapacidad
Casada y madre de una hija. Licenciada en Derecho (Universidad de Salamanca) Funcionaria de Carrera Grupo A.1. Jefa Territorial de Familia e Igualdad de la Junta de Castilla y León. Vicesecretaria Provincial de Relaciones con la Sociedad.
Martín Rodríguez
Diputado de la X legislatura
7
361
Diputado
 Enrique Luis
enrique.martin@congreso.es
PP
G.P. Popular ( GP )
16
Palencia
14 de marzo de 1954
2
X Legislatura ( 2011-Actualidad )
Comisión Constitucional; Comisión de Justicia; Comisión de Fomento; Comisión de Empleo y Seguridad Social; Comisión de Cultura; Comisión de Reglamento; Comisión de Seguimto. y Evaluación de los Acuerdos del Pacto de Toledo; Comisión Mixta para el Estudio del Problema de las Drogas; Ponencia encargada de estudiar la reforma del Reglamento (154/8)
Casado. 3 hijas. Licenciado en Derecho. Portavoz Diputación de Palencia (1991-1995) Primer Teniente de Alcalde del Ayuntamiento de Palencia (1995-1999) Presidente de la Diputación de Palencia (1999-2011)
Micheo Carrillo-Albornoz
Diputada de la X legislatura
8
369
Diputada
 Julia de
julietamicheo@congreso.es
PP
Bachelor Bussines Administration. Staffordshire University. Licenciada en Periodismo, Comunicación, Marketing, R.R.P.P. Asistente Parlamentario Vicepresidente del Congreso 1993-1996. Asesor Presidente del Congreso de los Diputados 1996-2000. Asesor Ministro de Defensa 2000-2004. Asesor Parlamentario Portavoz Comisión Constitucional 2004-2008. En la actualidad, Jefe de Gabinete del Coordinador de Justicia y Libertades Públicas del Partido Popular.
G.P. Popular ( GP )
07
Alicante
30 de julio de 1973 en Newcastle
3
X Legislatura ( 2011-Actualidad )
Comisión de Interior; Comisión de Industria, Energía y Turismo; Comisión de Seguimto. y Evaluación de los Acuerdos del Pacto de Toledo; Comisión Mixta Control Parlam. de la Corporación RTVE y sus Sociedades; Subcomisión de Estudio sobre las Redes Sociales (154/7)
Soltera.
Moreno Felipe
Diputada de la X legislatura
8
356
Diputada
 Irene
irene.moreno@congreso.es
PP
G.P. Popular ( GP )
14
Albacete
21 de marzo de 1971 en Hellín
2
X Legislatura ( 2011-Actualidad )
Comisión de Defensa; Comisión de Hacienda y Administraciones Públicas; Comisión de Educación y Deporte; Comisión de Empleo y Seguridad Social; Comisión de Industria, Energía y Turismo; Comisión de Cultura; Comisión de Igualdad; Comisión sobre Seguridad Vial y Movilidad Sostenible
Casada. Licenciada en Filología Francesa. Profesora de Secundaria de Francés. Secretaria del Partido Popular de Hellín. Concejal del Ayuntamiento de Hellín
IreneMorenopp
Pastor González
Diputado de la X legislatura
7
358
Diputado
 Ildefonso R.
ildefonso.pastor@congreso.es
PP
G.P. Popular ( GP )
06
Valladolid
15 de mayo de 1979 en Córdoba
3
X Legislatura ( 2011-Actualidad )
Comisión de Asuntos Exteriores; Comisión de Presupuestos; Comisión de Empleo y Seguridad Social; Comisión de Industria, Energía y Turismo; Comisión de Cooperación Internacional para el Desarrollo
Casado. Licenciado en Derecho. Concejal en el Ayuntamiento de Valladolid (2007-2011) Senador en la IX Legislatura
ildepg
Pérez Fernández
Diputada de la X legislatura
7
375
Diputada
 Rosana
BNG
Funcionaria de la Consellería de Educación de la Xunta de Galicia. Concejala en A Pobra do Caramiñal durante 17 años. Diputada Provincial en la Diputación de A Coruña del 2007 a 2011. Portavoz del Grupo Provincial del BNG.
G.P. Mixto ( GMx )
02
Coruña
21 de diciembre de 1964
2
X Legislatura ( 2011-Actualidad )
Comisión de Fomento; Comisión de Educación y Deporte; Subcomisión estudio y análisis sistema ferroviario español (154/10)
Casada. Una hija.
RosanaPerezGZ

Statistics

Average successful run time: 25 minutes

Total run time: 10 days

Total cpu time used: about 1 hour

Total disk space used: 476 KB

History

  • Auto ran revision f69fb208 and failed .
    nothing changed in the database
    21 pages scraped
  • Auto ran revision f69fb208 and failed .
    nothing changed in the database
    21 pages scraped
  • Auto ran revision f69fb208 and failed .
    nothing changed in the database
    21 pages scraped
  • Auto ran revision f69fb208 and failed .
    nothing changed in the database
    21 pages scraped
  • Auto ran revision f69fb208 and failed .
    nothing changed in the database
  • ...
  • Forked from ScraperWiki

Show complete history

Scraper code

Python

congreso_datos_diputado / scraper.py