lfalvarez / datos_del_sinim

Municipal information (Chile) given by the National System of Municipal Information


sinim-scraper

Este es un scraper para obtener los datos de todas las municipalidades utilizando morph.io http://datos.sinim.gov.cl/ficha_comunal.php

Datos

Los datos de la CASEN los estamos sacando desde acá

http://observatorio.ministeriodesarrollosocial.gob.cl/indicadores/reportescom12.php

Contributors lfalvarez

Last run failed with status code 1.

Console output of last run

Injecting configuration and compiling... -----> Python app detected -----> Stack changed, re-installing runtime -----> Installing runtime (python-2.7.9) -----> Installing dependencies with pip  Collecting requests (from -r requirements.txt (line 1))  Downloading requests-2.9.1-py2.py3-none-any.whl (501kB)  Collecting BeautifulSoup4 (from -r requirements.txt (line 2))  Downloading beautifulsoup4-4.4.1-py2-none-any.whl (81kB)  Obtaining scraperwiki from git+http://github.com/openaustralia/scraperwiki-python.git@morph_defaults#egg=scraperwiki (from -r requirements.txt (line 3))  Cloning http://github.com/openaustralia/scraperwiki-python.git (to morph_defaults) to ./.heroku/src/scraperwiki  Collecting lxml==3.4.4 (from -r requirements.txt (line 5))  Downloading lxml-3.4.4.tar.gz (3.5MB)  Building lxml version 3.4.4.  Building without Cython.  Using build configuration of libxslt 1.1.28  /app/.heroku/python/lib/python2.7/distutils/dist.py:267: UserWarning: Unknown distribution option: 'bugtrack_url'  warnings.warn(msg)  Collecting cssselect==0.9.1 (from -r requirements.txt (line 6))  Downloading cssselect-0.9.1.tar.gz  Collecting unicodecsv==0.9.0 (from -r requirements.txt (line 7))  Downloading unicodecsv-0.9.0.tar.gz  Collecting wikipedia==1.4.0 (from -r requirements.txt (line 8))  Downloading wikipedia-1.4.0.tar.gz  Collecting dumptruck>=0.1.2 (from scraperwiki->-r requirements.txt (line 3))  Downloading dumptruck-0.1.6.tar.gz  Installing collected packages: dumptruck, wikipedia, unicodecsv, cssselect, lxml, scraperwiki, BeautifulSoup4, requests  Running setup.py install for dumptruck  Running setup.py install for wikipedia  Running setup.py install for unicodecsv  Running setup.py install for cssselect  Running setup.py install for lxml  Building lxml version 3.4.4.  Building without Cython.  Using build configuration of libxslt 1.1.28  /app/.heroku/python/lib/python2.7/distutils/dist.py:267: UserWarning: Unknown distribution option: 'bugtrack_url'  warnings.warn(msg)  building 'lxml.etree' extension  gcc -pthread -fno-strict-aliasing -g -O2 -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -fPIC -I/usr/include/libxml2 -I/tmp/pip-build-5FlR_Q/lxml/src/lxml/includes -I/app/.heroku/python/include/python2.7 -c src/lxml/lxml.etree.c -o build/temp.linux-x86_64-2.7/src/lxml/lxml.etree.o -w  gcc -pthread -shared build/temp.linux-x86_64-2.7/src/lxml/lxml.etree.o -lxslt -lexslt -lxml2 -lz -lm -o build/lib.linux-x86_64-2.7/lxml/etree.so  building 'lxml.objectify' extension  gcc -pthread -fno-strict-aliasing -g -O2 -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -fPIC -I/usr/include/libxml2 -I/tmp/pip-build-5FlR_Q/lxml/src/lxml/includes -I/app/.heroku/python/include/python2.7 -c src/lxml/lxml.objectify.c -o build/temp.linux-x86_64-2.7/src/lxml/lxml.objectify.o -w  gcc -pthread -shared build/temp.linux-x86_64-2.7/src/lxml/lxml.objectify.o -lxslt -lexslt -lxml2 -lz -lm -o build/lib.linux-x86_64-2.7/lxml/objectify.so  Running setup.py develop for scraperwiki  Creating /app/.heroku/python/lib/python2.7/site-packages/scraperwiki.egg-link (link to .)  Adding scraperwiki 0.3.7 to easy-install.pth file  Installed /app/.heroku/src/scraperwiki    Successfully installed BeautifulSoup4-4.4.1 cssselect-0.9.1 dumptruck-0.1.6 lxml-3.4.4 requests-2.9.1 scraperwiki unicodecsv-0.9.0 wikipedia-1.4.0  -----> Discovering process types  Procfile declares types -> scraper Injecting scraper and running... <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- <----------------------------------------- Traceback (most recent call last): File "scraper.py", line 124, in <module> process_wiki() File "scraper.py", line 97, in process_wiki print comuna_code, link.text, url_completa UnicodeEncodeError: 'ascii' codec can't encode character u'\xe1' in position 3: ordinal not in range(128) 12202

Data

Downloaded 10 times by lfalvarez MikeRalphson

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (3.56 MB) Use the API

rows 10 / 2569

nombre posicion pacto partido id id_muni
Óscar Catalán Sánchez
alcalde
Coalición
IND-H
1
1
SAMUEL SEGUNDO CHONG RIVERA
concejal
Regionalistas e Independientes
PRI
2
1
MANUEL CURINAO REBOLLEDO
concejal
Concertación Democrática
PDC
3
1
ISAAC OVANDO BELLO
concejal
Concertación Democrática
PS
4
1
XIMENA ELIZABETH NOVOA PEREZ
concejal
Coalición
RN
5
1
MANUEL ORTIZ TORRES
concejal
Coalición
IND-H
6
1
MARIA INES OYARZUN CARCAMO
concejal
Concertación Democrática
IND-F
7
1
Jaime Gálvez Fuenza
alcalde
Independientes (fuera de pacto)
IND
8
2
CARLOS ORLANDO TAPIA AVILES
concejal
Regionalistas e Independientes
PRI
9
2
ANTONIETA SANDOVAL SOLIS
concejal
Por un Chile Justo
PRSD
10
2

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (3.56 MB) Use the API

rows 10 / 345

id id_sinim web_muni muni
1
11201
www.puertoaysen.cl
AISÉN
2
05602
www.municipalidadalgarrobo.cl
ALGARROBO
3
13502
www.municipalidadalhue.cl
ALHUÉ
4
08314
www.maltobiobio.cl
ALTO BIOBÍO
5
03302
www.munialtodelcarmen.cl
ALTO DEL CARMEN
6
01107
www.maho.cl
ALTO HOSPICIO
7
10202
www.muniancud.cl
ANCUD
8
04103
www.andacollochile.cl
ANDACOLLO
9
09201
www.angol.cl
ANGOL
10
02101
www.municipalidadantofagasta.cl
ANTOFAGASTA

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (3.56 MB) Use the API

rows 10 / 21504

id id_muni dato_name value
0
113
Proyección de población a Junio 2013 (base Censo de Población 2002). Instituto Nacional de Estadísticas
186033
1
113
Porcentaje de personas en situación de pobreza, 2011. Estimaciones para Áreas Pequeñas, Ministerio de Desarrollo Social
9.3
2
113
Porcentaje de personas en situación de pobreza, 2011. Metodología de Imputación de Medias por Conglomerados. Ministerio de Desarrollo Social
3
113
Remuneración imponible promedio de afiliados a seguro de cesantía (pesos), abril 2013. Administradora de Fondos de Cesantía de Chile
672591
4
113
Porcentaje de la población de 20 años y más que está afiliada al seguro de cesantía, abril 2013. Administradora de Fondos de Cesantía de Chile
42.6
5
113
Porcentaje de afiliados a seguro de cesantía del 40% nacional de menores ingresos, abril 2013. Administradora de Fondos de Cesantía de Chile
33.2
6
113
Porcentaje de afiliados a seguro de cesantía que tienen contrato a plazo fijo, abril 2013. Administradora de Fondos de Cesantía de Chile
28.7
7
113
Porcentaje de matrícula en establecimientos municipalizados, 2012. Ministerio de Educación
29
8
113
Porcentaje de matrícula en establecimientos particulares subvencionados, 2012. Ministerio de Educación
65.6
9
113
Porcentaje de matrícula en corporaciones de administración delegada, 2012. Ministerio de Educación
1.3

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (3.56 MB) Use the API

rows 10 / 288

url_completa id_muni wiki_link summary id
13
/wiki/Arica
Arica es una ciudad, comuna y puerto de Chile, capital de la provincia homónima y de la Región de Arica y Parinacota, ubicada en la frontera septentrional de Chile, a sólo 18 km (11 millas) al sur de la frontera con Perú. Arica se encuentra en el recodo de la costa occidental de América del Sur conocida como la «Curva de Arica», la cual se considera un punto de inflexión del Cono Sur, siendo Arica un punto clave del este último. Arica es un puerto importante para una gran región del interior de América del Sur. La ciudad sirve como un puerto libre para Bolivia y gestiona una parte sustancial del comercio de ese país. La posición estratégica de la ciudad se ve reforzada por estar al lado de la carretera Panamericana, que la conecta con Tacna en Perú, el ferrocarril Arica-La Paz con La Paz en Bolivia y, además, está servida por un aeropuerto internacional. Entre los turistas, particularmente chilenos, es conocida como la «Ciudad de la Eterna Primavera», por su clima agradable, y además por ser la «Puerta Norte» del país, debido a su proximidad a la frontera con Perú. Arica se caracteriza por la diversidad cultural, folclórica, étnica y, también, por su pasado histórico, destacándose las momias Chinchorro, consideradas entre las más antiguas del mundo. A partir del 8 de octubre de 2007, se convirtió en la capital de la Región de Arica y Parinacota.
0
26
/wiki/Camarones_(Chile)
Camarones es una comuna perteneciente a la Provincia de Arica, en la Región de Arica y Parinacota, al norte de Chile. Integra, junto con las comunas de Arica, Putre, y General Lagos, el Distrito Electoral Nº 1 y la 1ª Circunscripción Senatorial (Tarapacá). Es una comuna totalmente rural y casi sin movimiento turístico. Su municipalidad tiene asiento en el caserío de Cuya, en la ribera sur de la quebrada de Camarones.
1
243
/wiki/Putre
Putre (aymara Puxitri : Murmullo de agua) es una ciudad y comuna capital de la Provincia de Parinacota, en la Región de Arica y Parinacota, en Chile. Integra, junto con las comunas de Arica, Camarones y General Lagos, el Distrito Electoral N° 1, y pertenece a la Circunscripción Senatorial 1ª. Está ubicada a 145 km. de Arica, en el altiplano andino. Tiene una superficie de 5.902,5 km² y una población total de 1.977 habitantes.
2
99
/wiki/General_Lagos_(Chile)
General Lagos es una comuna chilena de la Región de Arica y Parinacota, perteneciente a Chile. Administrativamente, forma parte de la Provincia de Parinacota. Ubicada en el extremo norte del altiplano chileno, es la comuna más septentrional y es una de las menos pobladas del país, una población de 1.179 habitantes. Su municipalidad tiene asiento en Visviri. Su nombre indígena es Takura. Junto con las comunas de Arica, Camarones, y Putre, representa el Distrito Electoral Nº 1 y a la 1ª Circunscripción Senatorial (Tarapacá).
3
113
/wiki/Iquique
Iquique (en aimara: Iki Iki, ‘'lugar de sueños', 'lugar de descanso'’)? es una ciudad-puerto, zona franca y comuna capital de la Provincia de Iquique y de la Región de Tarapacá, Chile. Es conocida como la "Tierra de Campeones". Integra junto con las comunas de Alto Hospicio, Camiña, Colchane, Huara, Pica y Pozo Almonte el Distrito Electoral N° 2 y pertenece a la 1.ª Circunscripción Senatorial. La superficie territorial de la comuna durante el censo de 2002 era de 2835,3 km², ya que Alto Hospicio estaba incluida, pero tras la separación de ambas comunas, la superficie de Iquique es de 2242,1 km². La población de la ciudad en 2012 era de 184 953 habitantes y su densidad poblacional de 74,13 hab./km². Iquique pertenece a la conurbación Iquique-Alto Hospicio, llamado Gran Iquique, la que cuenta con una población en 2012 de 278 251 habitantes. Iquique tiene uno de los derechos comerciales de puerto libre más grande de centros (o Zona Franca) de América del Sur y se ha llamado tradicionalmente ZOFRI (Zona Franca de Iquique). Hay alrededor de 2,4 km² (0,93 mi²) de depósitos, sucursales bancarias y restaurantes. La zona fue cuna de la Complejo Cultural Chinchorro, hace 5000 años. Asimismo, se han encontrado evidencias de 4000 años a.C. en playa Caramucho, todos de pescadores-recolectores que en forma nómade o semi-sedentarias aprovechaban los recursos del mar. Los habitantes prehispánicos que entablaron contacto con los españoles fueron los camanchacos, denominados «changos» por los europeos, los cuales se caracterizaban por sus balsas hechas de cuero de lobo marino, utilizadas para la pesca y recolección de mariscos.
4
6
/wiki/Alto_Hospicio
Alto Hospicio es una comuna y ciudad situada en la Provincia de Iquique, en la Región de Tarapacá, Chile. Junto con las comunas de Camiña, Colchane, Huara, Iquique, Pica y Pozo Almonte, integra el Distrito Electoral № 2 y pertenece a la 1.ª Circunscripción Senatorial. Se ubica en los altos cercanos a la ciudad portuaria de Iquique, con la cual forma el llamado Gran Iquique, que reúne más de 350 000 habitantes. La comuna de Alto Hospicio concentra 100 000 habitantes (estimados a 2010, según el INE).
5
226
/wiki/Pozo_Almonte
Pozo Almonte es una ciudad y comuna capital de la Provincia del Tamarugal, en la Región de Tarapacá, Chile. Integra junto con las comunas de Iquique, Alto Hospicio, Huara, Camiña, Colchane y Pica el Distrito Electoral N°2 y pertenece a la 1ª Circunscripción Senatorial (Tarapacá). Su superficie es de 13.765,8 km², donde vive una población de 14.366 habitantes (INE, 2006). Está ubicada en pleno centro en la pampa del Tamarugal. En la comuna se localizan una serie de oficinas salitreras, destacándose las de Humberstone y Santa Laura.
6
27
/wiki/Cami%C3%B1a
Camiña (en aimara: qamaña, ‘morada o resistencia’)? es un caserío y una comuna de Chile ubicada en la Provincia del Tamarugal, correspondiente a la Región de Tarapacá. Integra junto con las comunas de Iquique, Alto Hospicio, Huara, Colchane, Pica y Pozo Almonte el Distrito Electoral N° 2 y pertenece a la 1ª Circunscripción Senatorial (Tarapacá). Tiene una superficie de 2.200,2 km² y una población de 1.275 habitantes.
7
58
/wiki/Colchane
Colchane (en aimara: qullchanni, ‘existencia de qullcha, tipo de pasto’)? es una comuna y pueblo de Chile de la Provincia del Tamarugal, correspondiente a la Región de Tarapacá. Integra junto con las comunas de Alto Hospicio, Camiña, Huara, Iquique, Pica y Pozo Almonte el Distrito Electoral N° 2 y pertenece a la 1ª Circunscripción Senatorial. Tiene una superficie de 4.015,6 km² y una población de 1.629 habitantes. Se ubica en el altiplano andino, junto al poblado boliviano de Pisiga.
8
108
/wiki/Huara
Huara (en aimara: wara, ‘estrella’)? es una aldea y comuna de Chile perteneciente a la Provincia del Tamarugal, correspondiente a la Región de Tarapacá. Integra junto con las comunas de Alto Hospicio, Camiña, Colchane, Iquique, Pica y Pozo Almonte el Distrito Electoral N° 2 y pertenece a la 1ª Circunscripción Senatorial. Se ubica entre las ciudades de Iquique y Arica, siendo atravesada por la ruta 5 Panamericana. Comprende los poblados de Pisagua y San Lorenzo de Tarapacá. La cabecera de esta comuna es Huara, una aldea ubicada en medio de la pampa del Tamarugal. Cuenta con servicios básicos como Posta de primeros auxilios, Retén de carabineros y teléfono.
9

Statistics

Average successful run time: 10 minutes

Total run time: about 5 hours

Total cpu time used: 7 minutes

Total disk space used: 3.77 MB

History

  • Manually ran revision 7fb48fdc and failed .
    24706 records added, 24418 records removed in the database
  • Manually ran revision 6567437d and completed successfully .
    24418 records added in the database
    689 pages scraped
  • Manually ran revision 6567437d and completed successfully .
    24418 records added, 345 records removed in the database
    345 pages scraped
  • Manually ran revision fe6aef3e and completed successfully .
    2569 records added, 2569 records removed in the database
    345 pages scraped
  • Manually ran revision fe6aef3e and completed successfully .
    2569 records added, 345 records removed in the database
    345 pages scraped
  • Manually ran revision d5ee1b82 and completed successfully .
    345 records added in the database
    345 pages scraped
  • Manually ran revision 7ea890d8 and failed .
    nothing changed in the database
    310 pages scraped
  • Created on morph.io

Scraper code

Python

datos_del_sinim / scraper.py