Feng-Gao / shanghai-opendata

datashanghai.gov.cn

README.md

This is a scraper that runs on Morph. To get started see the documentation

Contributors

Last run failed 2022-09-26 with status code 255.

Console output of last run

Injecting configuration and compiling... [1G [1G-----> Python app detected [1G ! The latest version of Python 2 is python-2.7.14 (you are using python-2.7.9, which is unsupported). [1G ! We recommend upgrading by specifying the latest version (python-2.7.14). [1G Learn More: https://devcenter.heroku.com/articles/python-runtimes [1G-----> Installing python-2.7.9 [1G ! Requested runtime (python-2.7.9) is not available for this stack (cedar-14). [1G ! Aborting. More info: https://devcenter.heroku.com/articles/python-support

Data

Downloaded 7 times by

data

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (121 MB) Use the API

rows 10 / 223334

format	name	topics	today	updated	frequency	count	org	desc	tags	index_url	url	id	created
csv	救助管理站	民生服务	04/16/2019	2018-11-21	每半年	3526/507	上海市民政局	救助管理站的机构名称、所属区县、联系地址、联系电话、工作时间等信息。	救助管理站	http://data.sh.gov.cn/query!queryProduct.action?currentPage=56	http://www.datashanghai.gov.cn/query!queryGdsDataInfoById.action?type=0&dataId=AA9002014007	1	2014-12-29
csv\|api	社会救助管理机构	机构团体	04/16/2019	2018-11-21	每半年	3644/667	上海市民政局	社会救助事务所等救助管理机构的名称、所属区县、所属街道、地址、邮编、联系电话和工作时间等信息。	社会救助	http://data.sh.gov.cn/query!queryProduct.action?currentPage=56	http://www.datashanghai.gov.cn/query!queryGdsDataInfoById.action?type=0&dataId=AA9002014004	2	2014-12-29
csv\|xls\|api	慈善救助服务社	民生服务	04/16/2019	2018-11-21	每半年	3643/735	上海市民政局	慈善救助服务社的机构名称、所属区县、地址、电话、工作时间等信息。	慈善救助服务社	http://data.sh.gov.cn/query!queryProduct.action?currentPage=56	http://www.datashanghai.gov.cn/query!queryGdsDataInfoById.action?type=0&dataId=AA9002014006	3	2014-12-29
xls\|xls\|csv\|xls\|csv\|xls\|api\|api	农产品地理标志	经济建设	04/16/2019	2018-11-21	每年	6174/2107	上海市农业农村委员会	上海市农委农产品质量安全中心认定的农产品地理标示信息，包括：申报单位、产品名称、登记证书编号、划定的区域保护范围等。	农产品,地理标志	http://data.sh.gov.cn/query!queryProduct.action?currentPage=56	http://www.datashanghai.gov.cn/query!queryGdsDataInfoById.action?type=0&dataId=AB5002015018	4	2015-10-27
xls\|csv\|xls\|csv\|csv\|xls\|xlsx\|xls\|xls\|xls\|xlsx\|api\|api\|api\|api	无公害、绿色、有机农产品认证	民生服务	04/16/2019	2018-11-21	每年	8835/4530	上海市农业农村委员会	无公害、绿色、有机农产品认证包括产品名称、产品种类、生产地址、证书编号、证书有效期等信息。	无公害，绿色，有机	http://data.sh.gov.cn/query!queryProduct.action?currentPage=56	http://www.datashanghai.gov.cn/query!queryGdsDataInfoById.action?type=0&dataId=AB5002014003	5	2014-11-14
xls\|xls\|csv\|xls\|api	跨省引进乳用及种用动物调运审批信息	经济建设	04/16/2019	2018-11-20	每年	2058/229	上海市农业农村委员会	本市有关企业通过市农委行政许可审批，跨省市引进乳用及种用动物，含企业名称、办理编码、发证日期、许可证编号信息。	业名称,办理编码,发证日期,许可证编号	http://data.sh.gov.cn/query!queryProduct.action?currentPage=56	http://www.datashanghai.gov.cn/query!queryGdsDataInfoById.action?type=0&dataId=AB5002016003	6	2016-12-13
xls\|csv\|xls\|xls\|api	渔业捕捞许可证审批	经济建设	04/16/2019	2018-11-20	每年	2531/345	上海市农业农村委员会	根据市农委行政许可事项办理要求，通过渔业捕捞许可的有关信息，包括：企业/申请人，申请办理编号，发证日期，许可证编号等。	企业/申请人,申请办理编号,发证日期,许可证编号	http://data.sh.gov.cn/query!queryProduct.action?currentPage=56	http://www.datashanghai.gov.cn/query!queryGdsDataInfoById.action?type=0&dataId=AB5002016004	7	2016-12-13
csv\|api	国有博物馆备案相关信息	文化休闲	04/16/2019	2018-11-20	每年	2332/522	上海市文化广播影视管理局	提供上海国有博物馆名单，包含地址、博物馆性质、质量等级等信息	文化，博物馆	http://data.sh.gov.cn/query!queryProduct.action?currentPage=56	http://www.datashanghai.gov.cn/query!queryGdsDataInfoById.action?type=0&dataId=AB7002017001	8	2017-11-29
xls\|csv\|api	上海各类博物馆情况一览表	文化休闲	04/16/2019	2018-11-20	每年	17983/9920	上海市文化广播影视管理局	提供上海市各类博物馆名称、地址、联系电话、开放情况等信息，按区县分别排列	博物馆	http://data.sh.gov.cn/query!queryProduct.action?currentPage=56	http://www.datashanghai.gov.cn/query!queryGdsDataInfoById.action?type=0&dataId=AB7002014001	9	2014-12-31
xls\|csv\|csv\|csv\|api\|api	本市中心城区犬类管理信息	民生服务	04/16/2019	2018-11-20	每年	4782/1572	上海市农业农村委员会	上海市中心城区犬只狂犬病免疫点，由市农委畜牧办提供，包括：区县、宠物诊所、地址、负责人、联系电话等信息。	宠物,诊所,	http://data.sh.gov.cn/query!queryProduct.action?currentPage=56	http://www.datashanghai.gov.cn/query!queryGdsDataInfoById.action?type=0&dataId=AB5002015007	10	2015-10-26

Statistics

Average successful run time: 18 minutes

Total run time: about 2 months

Total cpu time used: about 3 hours

Total disk space used: 121 MB

History

Auto ran revision ac306bf6 and failed 2022-09-26.

run time 25 s

nothing changed in the database
Auto ran revision ac306bf6 and failed 2022-09-25.

run time 22 s

nothing changed in the database
Auto ran revision ac306bf6 and failed 2022-09-24.

run time 22 s

nothing changed in the database
Auto ran revision ac306bf6 and failed 2022-09-23.

run time 23 s

nothing changed in the database
Auto ran revision ac306bf6 and failed 2022-09-22.

run time 12 s

nothing changed in the database
...
Created on morph.io 2019-03-17

Show complete history

Scraper code

Python

shanghai-opendata / scraper.py

git clone URL