Feng-Gao / seoul-opendata

http://data.seoul.go.kr


This is a scraper that runs on Morph. To get started see the documentation

Contributors Feng-Gao

Last run completed successfully .

Console output of last run

Injecting configuration and compiling...  -----> Python app detected  ! The latest version of Python 2 is python-2.7.14 (you are using python-2.7.9, which is unsupported).  ! We recommend upgrading by specifying the latest version (python-2.7.14).  Learn More: https://devcenter.heroku.com/articles/python-runtimes -----> Installing python-2.7.9 -----> Installing pip -----> Installing requirements with pip  DEPRECATION: Python 2.7 reached the end of its life on January 1st, 2020. Please upgrade your Python as Python 2.7 is no longer maintained. pip 21.0 will drop support for Python 2.7 in January 2021. More details about Python 2 support in pip, can be found at https://pip.pypa.io/en/latest/development/release-process/#python-2-support  Obtaining scraperwiki from git+http://github.com/openaustralia/scraperwiki-python.git@morph_defaults#egg=scraperwiki (from -r /tmp/build/requirements.txt (line 6))  Cloning http://github.com/openaustralia/scraperwiki-python.git (to revision morph_defaults) to /app/.heroku/src/scraperwiki  Running command git clone -q http://github.com/openaustralia/scraperwiki-python.git /app/.heroku/src/scraperwiki  Running command git checkout -b morph_defaults --track origin/morph_defaults  Switched to a new branch 'morph_defaults'  Branch morph_defaults set up to track remote branch morph_defaults from origin.  Collecting beautifulsoup4==4.4.0  Downloading beautifulsoup4-4.4.0-py2-none-any.whl (81 kB)  Collecting requests==2.21.0  Downloading requests-2.21.0-py2.py3-none-any.whl (57 kB)  Collecting lxml==3.4.4  Downloading lxml-3.4.4.tar.gz (3.5 MB)  Collecting cssselect==0.9.1  Downloading cssselect-0.9.1.tar.gz (32 kB)  Collecting fake_useragent==0.1.11  Downloading fake-useragent-0.1.11.tar.gz (13 kB)  Collecting dumptruck>=0.1.2  Downloading dumptruck-0.1.6.tar.gz (15 kB)  Collecting urllib3<1.25,>=1.21.1  Downloading urllib3-1.24.3-py2.py3-none-any.whl (118 kB)  Collecting certifi>=2017.4.17  Downloading certifi-2020.4.5.1-py2.py3-none-any.whl (157 kB)  Collecting chardet<3.1.0,>=3.0.2  Downloading chardet-3.0.4-py2.py3-none-any.whl (133 kB)  Collecting idna<2.9,>=2.5  Downloading idna-2.8-py2.py3-none-any.whl (58 kB)  Building wheels for collected packages: lxml, cssselect, fake-useragent, dumptruck  Building wheel for lxml (setup.py): started  Building wheel for lxml (setup.py): still running...  Building wheel for lxml (setup.py): finished with status 'done'  Created wheel for lxml: filename=lxml-3.4.4-cp27-cp27m-linux_x86_64.whl size=2989867 sha256=548eb147d09cffb525ead910e02e19ddb727fdc0a257dbe33f010435839fa3d7  Stored in directory: /tmp/pip-ephem-wheel-cache-eAH0Nb/wheels/d6/de/81/11ae6edd05c75aac677e67dd154c85da758ba6f3e8e80e962e  Building wheel for cssselect (setup.py): started  Building wheel for cssselect (setup.py): finished with status 'done'  Created wheel for cssselect: filename=cssselect-0.9.1-py2-none-any.whl size=26993 sha256=9309dc4a5b6d86b05a9b4e340863887abe42aeb671c0a608e45c0670a3040bfb  Stored in directory: /tmp/pip-ephem-wheel-cache-eAH0Nb/wheels/85/fe/00/b94036d8583cec9791d8cda24c184f2d2ac1397822f7f0e8d4  Building wheel for fake-useragent (setup.py): started  Building wheel for fake-useragent (setup.py): finished with status 'done'  Created wheel for fake-useragent: filename=fake_useragent-0.1.11-py2-none-any.whl size=13485 sha256=48d1cb4dd6f858c9c2581af980b8450958a2f46e55a58748735fc1fc58eae341  Stored in directory: /tmp/pip-ephem-wheel-cache-eAH0Nb/wheels/31/cd/fd/01593bc9cfb3f38fc789c2646fce5dab2d9fef4af01547d447  Building wheel for dumptruck (setup.py): started  Building wheel for dumptruck (setup.py): finished with status 'done'  Created wheel for dumptruck: filename=dumptruck-0.1.6-py2-none-any.whl size=11842 sha256=99d135a10ccc62548bc4786bfe9c6509c50e91194b8d887ad383bda854883776  Stored in directory: /tmp/pip-ephem-wheel-cache-eAH0Nb/wheels/dc/75/e9/1e61c4080c73e7bda99614549591f83b53bcc2d682f26fce62  Successfully built lxml cssselect fake-useragent dumptruck  Installing collected packages: dumptruck, urllib3, certifi, chardet, idna, requests, scraperwiki, beautifulsoup4, lxml, cssselect, fake-useragent  Running setup.py develop for scraperwiki  Successfully installed beautifulsoup4-4.4.0 certifi-2020.4.5.1 chardet-3.0.4 cssselect-0.9.1 dumptruck-0.1.6 fake-useragent-0.1.11 idna-2.8 lxml-3.4.4 requests-2.21.0 scraperwiki urllib3-1.24.3 DEPRECATION: Python 2.7 reached the end of its life on January 1st, 2020. Please upgrade your Python as Python 2.7 is no longer maintained. pip 21.0 will drop support for Python 2.7 in January 2021. More details about Python 2 support in pip, can be found at https://pip.pypa.io/en/latest/development/release-process/#python-2-support    -----> Discovering process types  Procfile declares types -> scraper Injecting scraper and running... []

Data

Downloaded 4 times by Feng-Gao

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (862 MB) Use the API

rows 10 / 907619

index_url view today frequency topics tags org updated created desc format url name
40478
04/16/2019
정기(매년, 12월 기준)
[주택/건설]
주택보급률| 주택| 보급| 단독주택| 다가구주택| 영업겸용| 아파트| 연립주택| 다세대주택| 비거주용
서울시 통계정보
MISSING
2012.02.01
"서울시 통계정보시스템에서 제공하는 주택현황 및 보급률(새로운 산정방식)에 대한 통계정보 입니다.서울..."
statistics|sheet|OpenAPI|Chart
서울시 주택현황 및 보급률 (새로운산정방식)(2014년 이전) 통계
33774
04/16/2019
정기(매년, 12월 기준)
[산업/경제]
사업체수| 산업별 사업체수| 산업별 종사자수| 종사자수| 사업체| 산업대분류| 사업체조사| 종사자
서울시 통계정보
MISSING
2017.12.25
"서울시 통계정보시스템에서 제공하는 사업체현황(산업대분류별/동별)에 대한 통계정보 입니다.서울시 사업..."
statistics|sheet|OpenAPI|Chart
서울시 사업체현황 (산업대분류별/동별) 통계
31161
04/16/2019
정기(월간)
[교통]
관용| 승용차| 승합차| 영업용| 이륜차| 자가용| 특수차| 화물차| 자동차| 등록
서울시 통계정보
MISSING
2017.12.26
"서울시 통계정보시스템에서 제공하는 자동차등록(월별/구별)에 대한 통계정보 입니다.서울시 자동차 등록..."
statistics|sheet|OpenAPI|Chart
서울시 자동차등록 (월별/구별) 통계
30728
04/16/2019
매일
[교통]
지하철| 교통| 통계| 지하철역| 승차| 하차| 지하철호선| 중앙선| 경전철| 경의선
교통카드 정산시스템
2019.04.12
2016.01.04
"교통카드(선후불교통카드 및 1회용 교통카드)를 이용한 지하철호선별 역별(서울교통공사, 한국철도공사,..."
source|sheet|OpenAPI|File
서울시 지하철호선별 역별 승하차 인원 정보
29402
04/16/2019
정기(5년)
[인구/가구]
1인가구| 2인가구| 3인가구| 4인가구| 5인가구| 6인이상가구| 인구주택총조사| 가구| 가구원수
서울시 통계정보
MISSING
2014.10.21
"서울시 통계정보시스템에서 제공하는 가구원수별 가구수(동별)에 대한 통계정보 입니다."
statistics|sheet|Chart
서울시 가구원수별 가구수 (동별) 통계
29237
04/16/2019
년간
[도시관리]
구별면적| 면적| 법정동| 행정동| 행정| 구역
서울시 통계정보
MISSING
2012.02.29
"서울시 통계정보시스템에서 제공하는 행정구역(동별)에 대한 통계정보 입니다.서울시 각 자치구 동별 행..."
statistics|sheet|OpenAPI|Chart
서울시 행정구역 (동별) 통계
29135
04/16/2019
정기(분기별)
[인구/가구]
국적| 외국인| 중국| 미국| 타이완| 일본| 베트남| 몽골| 필리핀| 캐나다| 우즈베키스탄| 러시아| 인도| 타이| 영국| 프랑스| 중국인
서울시 통계정보
MISSING
2015.04.08
"서울시 통계정보시스템에서 제공하는 등록외국인 현황(국적별/구별)에 대한 통계정보 입니다.서울 체류 ..."
statistics|sheet|Chart
서울시 등록외국인 현황 (국적별/구별) 통계
27857
04/16/2019
정기(매년, 12월 기준)
[복지]
일반수급자| 조건부수급자| 특례수급자| 국민| 기초| 생활| 보장| 수급| 시설수급자
서울시 통계정보
MISSING
2012.02.01
"서울시 통계정보시스템에서 제공하는 국민기초생활보장 수급자(동별)에 대한 통계정보 입니다.서울시 국민..."
statistics|sheet|OpenAPI|Chart
서울시 국민기초생활보장 수급자 (동별) 통계
27307
04/16/2019
정기(분기)
[인구/가구]
5세별| 내국인| 등록인구| 연령별| 외국인| 한국인| 행정동별| 등록외국인| 인구| 인구수
서울시 통계정보
MISSING
2015.01.26
"서울시 통계정보시스템에서 제공하는 주민등록인구(연령별/구별)에 대한 통계정보 입니다."
statistics|sheet|OpenAPI|Chart
서울시 주민등록인구 (연령별/구별) 통계
26639
04/16/2019
정기(매년, 12월 기준)
[산업/경제]
공장| 단독| 본사| 본점| 비법인 단체| 사업체구분별| 사업체수| 영업소| 조직형태별| 종사자수| 회사법인| 회사이외의 법인| 사업체| 종사자| 지사| 산업대분류
서울시 통계정보
MISSING
2017.12.26
"서울시 통계정보시스템에서 제공하는 사업체현황(산업대분류별 총괄)(2006년 이후)에 대한 통계정보 ..."
statistics|sheet|OpenAPI|Chart
서울시 사업체현황 (산업대분류별 총괄) (2006년 이후) 통계

Statistics

Average successful run time: about 4 hours

Total run time: 4 months

Total cpu time used: 2 days

Total disk space used: 862 MB

History

  • Auto ran revision 5cf183a9 and completed successfully .
    nothing changed in the database
  • Auto ran revision 5cf183a9 and completed successfully .
    nothing changed in the database
  • Auto ran revision 5cf183a9 and completed successfully .
    nothing changed in the database
  • Auto ran revision 5cf183a9 and completed successfully .
    nothing changed in the database
  • Auto ran revision 5cf183a9 and completed successfully .
    nothing changed in the database
  • ...
  • Created on morph.io

Show complete history

Scraper code

Python

seoul-opendata / scraper.py