mzec / puobot

Web robot koji radi katalog PUO i SPUO postupaka nadležnog ministarstva za zaštitu okoliša i prirode RH

Scrapes puo.mzoe.hr


puobot

Uvod

puobot je web robot koji radi katalog PUO i SPUO postupaka nadležnog ministarstva za zaštitu okoliša i prirode RH. Powering Robo-MZOIP.

Problem

Dokumenti o postupcima procjene utjecaja na okoliš na web stranici nadležnog ministarstva za zaštitu okoliša i prirode se dodaju na način da je nemoguće sustavno i redovito pratiti objave novih dokumenata.

Rješenje

Web scraper koji redovito prati nove dodane dokumente i radi katalog zahvata i dokumenata, te po potrebi nove zahvate objavljuje putem twitter-a.

Korištenje

python3 puobot.py [--twitter 1]

Ulazni podaci

Twitter

Za twitter funkcionalnost potrebno je imati Twitter oauth podatke u zasebnim redovima u datoteci /input/twit_api_key.txt.

twit_api_key.txt: [API Key] [API Secret] [Access token] [Access token secret]

Izlazni podaci

Svi pronađeni dokumenti pospremaju se u arhivu u zasebne .tsv datoteke:

Sve razlike između posljednje verzije arhive spremljene u output/ folderu ispisuju se na standardni output (konzolu)

Zahtjevi

  • Python 3
  • requests (2.12.4)
  • BeautifulSoup4 (4.5.3)
  • lxml parser (3.7.2)
  • scraperwiki (0.5.1)
  • twython

Contributors mzec narimiran boromire

Last run completed successfully .

Console output of last run

Injecting configuration and compiling...  -----> Python app detected  ! The latest version of Python 3 is python-3.6.2 (you are using python-3.6.0, which is unsupported).  ! We recommend upgrading by specifying the latest version (python-3.6.2).  Learn More: https://devcenter.heroku.com/articles/python-runtimes -----> Installing python-3.6.0 -----> Installing pip -----> Installing requirements with pip  Collecting lxml==3.7.2 (from -r /tmp/build/requirements.txt (line 1))  Downloading https://files.pythonhosted.org/packages/84/bc/5d57e3c872669bced9651d5503c57f14e3b5198aa9bce17e900ffc373b2a/lxml-3.7.2-cp36-cp36m-manylinux1_x86_64.whl (7.2MB)  Collecting scraperwiki==0.5.1 (from -r /tmp/build/requirements.txt (line 2))  Downloading https://files.pythonhosted.org/packages/30/84/d874847baad89f03e6984fcd87505a37bf924b66519d1e07bf76e2369af0/scraperwiki-0.5.1.tar.gz  Collecting beautifulsoup4==4.5.3 (from -r /tmp/build/requirements.txt (line 3))  Downloading https://files.pythonhosted.org/packages/af/a3/9e803f838b3eeb313d45d916d4387cda8572c92e1aafeb53fd43ddb5da2c/beautifulsoup4-4.5.3-py3-none-any.whl (85kB)  Collecting requests==2.12.4 (from -r /tmp/build/requirements.txt (line 4))  Downloading https://files.pythonhosted.org/packages/ed/9e/60cc074968c095f728f0d8d28370e8d396fa60afb7582735563cccf223dd/requests-2.12.4-py2.py3-none-any.whl (576kB)  Collecting six (from scraperwiki==0.5.1->-r /tmp/build/requirements.txt (line 2))  Downloading https://files.pythonhosted.org/packages/67/4b/141a581104b1f6397bfa78ac9d43d8ad29a7ca43ea90a2d863fe3056e86a/six-1.11.0-py2.py3-none-any.whl  Collecting sqlalchemy (from scraperwiki==0.5.1->-r /tmp/build/requirements.txt (line 2))  Downloading https://files.pythonhosted.org/packages/25/c9/b0552098cee325425a61efdf380c51b5c721e459081c85bbb860f501c091/SQLAlchemy-1.2.12.tar.gz (5.6MB)  Collecting alembic (from scraperwiki==0.5.1->-r /tmp/build/requirements.txt (line 2))  Downloading https://files.pythonhosted.org/packages/96/c7/a4129db460c3e0ea8fea0c9eb5de6680d38ea6b6dcffcb88898ae42e170a/alembic-1.0.0-py2.py3-none-any.whl (158kB)  Collecting python-editor>=0.3 (from alembic->scraperwiki==0.5.1->-r /tmp/build/requirements.txt (line 2))  Downloading https://files.pythonhosted.org/packages/65/1e/adf6e000ea5dc909aa420352d6ba37f16434c8a3c2fa030445411a1ed545/python-editor-1.0.3.tar.gz  Collecting python-dateutil (from alembic->scraperwiki==0.5.1->-r /tmp/build/requirements.txt (line 2))  Downloading https://files.pythonhosted.org/packages/cf/f5/af2b09c957ace60dcfac112b669c45c8c97e32f94aa8b56da4c6d1682825/python_dateutil-2.7.3-py2.py3-none-any.whl (211kB)  Collecting Mako (from alembic->scraperwiki==0.5.1->-r /tmp/build/requirements.txt (line 2))  Downloading https://files.pythonhosted.org/packages/eb/f3/67579bb486517c0d49547f9697e36582cd19dafb5df9e687ed8e22de57fa/Mako-1.0.7.tar.gz (564kB)  Collecting MarkupSafe>=0.9.2 (from Mako->alembic->scraperwiki==0.5.1->-r /tmp/build/requirements.txt (line 2))  Downloading https://files.pythonhosted.org/packages/4d/de/32d741db316d8fdb7680822dd37001ef7a448255de9699ab4bfcbdf4172b/MarkupSafe-1.0.tar.gz  Installing collected packages: lxml, requests, six, sqlalchemy, python-editor, python-dateutil, MarkupSafe, Mako, alembic, scraperwiki, beautifulsoup4  Running setup.py install for sqlalchemy: started  Running setup.py install for sqlalchemy: finished with status 'done'  Running setup.py install for python-editor: started  Running setup.py install for python-editor: finished with status 'done'  Running setup.py install for MarkupSafe: started  Running setup.py install for MarkupSafe: finished with status 'done'  Running setup.py install for Mako: started  Running setup.py install for Mako: finished with status 'done'  Running setup.py install for scraperwiki: started  Running setup.py install for scraperwiki: finished with status 'done'  Successfully installed Mako-1.0.7 MarkupSafe-1.0 alembic-1.0.0 beautifulsoup4-4.5.3 lxml-3.7.2 python-dateutil-2.7.3 python-editor-1.0.3 requests-2.12.4 scraperwiki-0.5.1 six-1.11.0 sqlalchemy-1.2.12   -----> Discovering process types  Procfile declares types -> scraper Injecting scraper and running... tražim PUO postupke... PUO postupci 2018. PUO postupci 2017. PUO postupci 2016. PUO postupci 2015. PUO postupci 2014. PUO postupci 2013. PUO postupci 2012. tražim OPUO postupke... OPUO postupci 2018. OPUO postupci 2017. OPUO postupci 2016. OPUO postupci 2015. OPUO postupci 2014. OPUO postupci 2013. tražim prekogranične PUO postupke... tražim prekogranične SPUO postupke... tražim SPUO postupke za koje je nadležno MZOIE... tražim SPUO postupke za koje je nadležno drugo središnje tijelo ili JLRS... tražim OSPUO postupke...

Data

Downloaded 37 times by mzec igadmile curlin29

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (3.94 MB) Use the API

rows 10 / 1752

kategorija ime dokument file_ime file_link
PUO postupci 2014.
Modernizacija postojećeg i izgradnja drugog kolosijeka željezničke pruge M201 na dionici Križevci - Koprivnica - državna granica
PUO javni uvid
Ne-tehnički sažetak Studije [PDF]
PUO postupci 2014.
Modernizacija postojećeg i izgradnja drugog kolosijeka željezničke pruge M201 na dionici Križevci - Koprivnica - državna granica
PUO javni uvid
STUDIJA o utjecaju na okoliš [PDF]
PUO postupci 2014.
Modernizacija postojećeg i izgradnja drugog kolosijeka željezničke pruge M201 na dionici Križevci - Koprivnica - državna granica
PUO javni uvid
15.10.2014. - INFORMACIJA o odluci da se Studija o utjecaju na okoliš upućuje na javnu raspravu [PDF]
PUO postupci 2014.
Modernizacija postojećeg i izgradnja drugog kolosijeka željezničke pruge M201 na dionici Križevci - Koprivnica - državna granica
PUO informacija o zahtjevu
28.04.2014. - INFORMACIJA o zahtjevu za provedbu postupka procjene utjecaja zahvata na okoliš [PDF]
PUO postupci 2014.
Izgradnja dionice pruge Hrvatski Leskovac - Josipdol
PUO informacija o zahtjevu
16.07.2014. - INFORMACIJA o zahtjevu za provedbu postupka procjene utjecaja zahvata na okoliš [PDF]
PUO postupci 2014.
Eksploatacija arhitektonsko-građevnog kamena (kao primarne sirovine) i tehničko-građevnog kamena (kao sekundarne sirovine) na budućim eksploatacijskim poljima 'Dalma-Dolit' i 'Dolit-Marasović' na području Grada Omiša
PUO javni uvid
17.12.2014. - INFORMACIJA o odluci da se Studija o utjecaju na okoliš upućuje na javnu raspravu [PDF]
PUO postupci 2014.
Eksploatacija arhitektonsko-građevnog kamena (kao primarne sirovine) i tehničko-građevnog kamena (kao sekundarne sirovine) na budućim eksploatacijskim poljima 'Dalma-Dolit' i 'Dolit-Marasović' na području Grada Omiša
PUO informacija o zahtjevu
10.09.2014. - INFORMACIJA o zahtjevu za provedbu postupka procjene utjecaja zahvata na okoliš [PDF]
PUO postupci 2014.
Eksploatacija tehničko-građevnog kamena na eksploatacijskom polju 'Zvečaj', Grad Duga Resa
PUO javni uvid
Ne-tehnički sažetak Studije [PDF]
PUO postupci 2014.
Eksploatacija tehničko-građevnog kamena na eksploatacijskom polju 'Zvečaj', Grad Duga Resa
PUO javni uvid
Grafički prilozi [PDF]
PUO postupci 2014.
Eksploatacija tehničko-građevnog kamena na eksploatacijskom polju 'Zvečaj', Grad Duga Resa
PUO javni uvid
Tekstualni prilozi [PDF]

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (3.94 MB) Use the API

rows 10 / 6752

kategorija ime dokument file_ime file_link
OPUO postupci 2014.
Pogon za preradu proizvoda ribarstva - Poslovni park Karlovac, Logorište, kapaciteta prerade 3,27 t/dan, Općina Barilović
OPUO informacija
16.12.2014. - INFORMACIJA o zahtjevu za ocjenu o potrebi procjene utjecaja zahvata na okoliš [PDF]
OPUO postupci 2015.
Rekonstrukcija luke otvorene za javni promet Červar Porat
OPUO elaborat
Prilog: Presjeci [PDF]
OPUO postupci 2015.
Rekonstrukcija luke otvorene za javni promet Červar Porat
OPUO elaborat
Prilog: Situacija - novo stanje [PDF]
OPUO postupci 2015.
Rekonstrukcija luke otvorene za javni promet Červar Porat
OPUO elaborat
Prilog: Kopija katastarskog plana - novo stanje [PDF]
OPUO postupci 2015.
Rekonstrukcija luke otvorene za javni promet Červar Porat
OPUO informacija
09.01.2015. - INFORMACIJA o zahtjevu za ocjenu o potrebi procjene utjecaja na okoliš [PDF]
OPUO postupci 2015.
Sanacija i zatvaranje odlagališta neopasnog otpada Gajevi u Drenovcima
OPUO informacija
12.01.2015. - INFORMACIJA o zahtjevu za ocjenu o potrebi procjene utjecaja na okoliš [PDF]
OPUO postupci 2015.
Rekonstrukcija te povećanje kapaciteta, efikasnosti i energetske učinkovitosti postojećeg postrojenja Tvornice ulja Čepin, Općina Čepin
OPUO informacija
13.01.2015. - INFORMACIJA o zahtjevu za ocjenu o potrebi procjene utjecaja na okoliš [PDF]
OPUO postupci 2015.
Dogradnja poslovne građevine 'Klaonica i prerada mesa', Petrijevci
OPUO informacija
26.01.2015. - INFORMACIJA o zahtjevu za ocjenu o potrebi procjene utjecaja zahvata na okoliš [PDF]
OPUO postupci 2015.
Uređenje plaže u Općini Funtana (Istarska županija) od uvale Perila do autokampa Bijela uvala
OPUO informacija
02.02.2015. - INFORMACIJA o zahtjevu za ocjenu o potrebi procjene utjacaja na okoliš [PDF]
OPUO postupci 2015.
Uređenje sportsko-rekreacijskog centra Mujela na području Grada Novigrada u Istarskoj županiji
OPUO elaborat
Prilog: Vizualizacija klupske kuće [PDF]

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (3.94 MB) Use the API

rows 10 / 21

ime file_ime file_link
Novi blokovi nuklearne elektrane Paks NPP II u Republici Mađarskoj
09.09.2015. - OBAVIJEST o javnoj raspravi o Studiji o utjecaju na okoliš [PDF]
Novi blokovi nuklearne elektrane Paks NPP II u Republici Mađarskoj
Sažetak za javnost [PDF]
Novi blokovi nuklearne elektrane Paks NPP II u Republici Mađarskoj
STUDIJA o utjecaju na okoliš - Međunarodno poglavlje [PDF]
Novi blokovi nuklearne elektrane Paks NPP II u Republici Mađarskoj
STUDIJA o utjecaju na okoliš [PDF]
Novi blokovi nuklearne elektrane Paks NPP II u Republici Mađarskoj
17.09.2015. - INFORMACIJA o javnoj raspravi o Studiji o utjecaju na okoliš [PDF]
Hidorelektrana Mokrice u Republici Sloveniji
Prilog Studiji 2 [ZIP]
Hidorelektrana Mokrice u Republici Sloveniji
Prilog Studiji 1 [ZIP]
Hidorelektrana Mokrice u Republici Sloveniji
STUDIJA o utjecaju na okoliš [ZIP]
Hidorelektrana Mokrice u Republici Sloveniji
19.10.2015. - INFORMACIJA o javnoj raspravi o Studiji o utjecaju na okoliš [PDF]
Hidorelektrana Mokrice u Republici Sloveniji
18.11.2015. - OBAVIJEST o produljenju trajanja javnog uvida i javne rasprave [PDF]

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (3.94 MB) Use the API

rows 10 / 106

ime file_ime file_link
Državni prostorni plan za područje HE Brežice i Državni prostorni plan za područje HE Brežice u Republici Sloveniji
Državni prostorni plan za područje HE Brežice [PDF]
Državni prostorni plan za područje HE Brežice i Državni prostorni plan za područje HE Brežice u Republici Sloveniji
Strateška studija za Državni prostorni plan za područje HE Brežice [PDF]
Državni prostorni plan za područje HE Brežice i Državni prostorni plan za područje HE Brežice u Republici Sloveniji
01.03.2010. - INFORMACIJA o javnoj raspravi [PDF]
Nacionalni energetski program Republike Slovenije 2010. - 2030.
Sažetak Nacionalnog energetskog programa Republike Slovenije [PDF]
Nacionalni energetski program Republike Slovenije 2010. - 2030.
Ne-tehnički sažetak Strateške studije [PDF]
Nacionalni energetski program Republike Slovenije 2010. - 2030.
21.11.2011. - INFORMACIJA o javnoj raspravi [PDF]
Plan upravljanja vodnim područjem Dunavskog sliva i Jadranskog mora Republike Slovenije 2009. - 2015.
Strateška studija [PDF]
Plan upravljanja vodnim područjem Dunavskog sliva i Jadranskog mora Republike Slovenije 2009. - 2015.
Ne-tehnički sažetak Strateške studije [PDF]
Plan upravljanja vodnim područjem Dunavskog sliva i Jadranskog mora Republike Slovenije 2009. - 2015.
23.08.2012. - INFORMACIJA o javnoj raspravi [PDF]
Državni prostorni plan za područje HE Mokrice
Nacrt Državnog prostornog plana za područje HE Mokrice [PDF]

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (3.94 MB) Use the API

rows 10 / 113

ime file_ime file_link
Strategija prilagodbe klimatskim promjenama u Republici Hrvatskoj za razdoblje do 2040. godine s pogledom na 2070. godinu
19.07.2017. - INFORMACIJA o pokretanju postupka strateške procjene i izradi strateške studije – određivanje sadržaja strateške studije utjecaja na okoliš (pdf)
Strategija prilagodbe klimatskim promjenama u Republici Hrvatskoj za razdoblje do 2040. godine s pogledom na 2070. godinu
19.07.2017. - ODLUKA o započinjanju postupka strateške procjene utjecaja na okoliš (pdf)
Operativni program 'Okoliš' 2007. - 2013.
Operativni program 'Okoliš' 2007.-2013. [PDF]
Operativni program 'Okoliš' 2007. - 2013.
21.05.2010. - INFORMACIJA o provedbi postupka određivanja sadržaja strateške studije [PDF]
Operativni program 'Okoliš' 2007. - 2013.
27.09.2010. - ODLUKA o sadržaju strateške studije [PDF]
Operativni program 'Okoliš' 2007. - 2013.
Nacrt prijedloga Operativnog programa 'Okoliš' [PDF]
Operativni program 'Okoliš' 2007. - 2013.
Ne-tehnički sažetak Strateške studije [PDF]
Operativni program 'Okoliš' 2007. - 2013.
Sažetak Operativnog programa 'Okoliš i energetika' [PDF]
Operativni program 'Okoliš' 2007. - 2013.
11.06.2012. - INFORMACIJA o javnoj raspravi [PDF]
Operativni program 'Okoliš' 2007. - 2013.
02.08.2013. - IZVJEŠĆE o provedenom postupku strateške procjene utjecaja na okoliš [PDF]

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (3.94 MB) Use the API

rows 10 / 71

ime nadlezno-tijelo link
IV. Izmjene i dopune Prostornog plana Vukovarsko-srijemske županije
Nadležno tijelo je Vukovarsko-srijemska županija.
Plan gospodarenja otpadom u Gradu Zagrebu do 2015.
Nadležno tijelo je Grad Zagreb.
Operativni program 'Regionalna konkurentnost' 2007.-2013.
Nadležno tijelo je Ministarstva regionalnoga razvoja i fondova Europske unije.
Izmjene i dopune Prostornog plana Istarske županije
Nadležno tijelo je Istarska županija.
Prostorni plan Primorsko-goranske županije
Nadležno tijelo je Primorsko-goranska županija.
IV. Izmjene i dopune Prostornog plana Vukovarsko-srijemske županije
Nadležno tijelo je Vukovarsko-srijemska županija.
Nacionalni plan ribarstva Republike Hrvatske i Operativni program 'Ribarstvo' 2007.-2013.
Nadležno tijelo je Ministarstvo poljoprivrede.
Višegodišnji program gradnje regulacijskih i zaštitnih vodnih građevina i građevina za melioraciju 2013.-2017.
Nadležno tijelo je Ministarstvo poljoprivrede.
Program ruralnog razvoja Republike Hrvatske 2014.-2020.
Nadležno tijelo je Ministarstvo poljoprivrede.
Strategija prometnog razvoja Republike Hrvatske 2014.-2030.
Nadležno tijelo je Ministarstvo pomorstva, prometa i infrastrukture.

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (3.94 MB) Use the API

rows 1 / 1

ime link
Plan o izmjenama Plana gospodarenja otpadom u Republici Hrvatskoj za razdoblje 2007.-2015.

Statistics

Average successful run time: 4 minutes

Total run time: 1 day

Total cpu time used: about 1 hour

Total disk space used: 4.56 MB

History

  • Auto ran revision 610426c9 and completed successfully .
    4199 records added, 4186 records removed in the database
    40 pages scraped
  • Auto ran revision 610426c9 and completed successfully .
    4186 records added, 4164 records removed in the database
    40 pages scraped
  • Auto ran revision 610426c9 and completed successfully .
    4164 records added, 4164 records removed in the database
  • Auto ran revision 610426c9 and completed successfully .
    4164 records added, 4154 records removed in the database
    40 pages scraped
  • Auto ran revision 610426c9 and completed successfully .
    4154 records added, 4154 records removed in the database
    40 pages scraped
  • ...
  • Created on morph.io

Show complete history

Scraper code

Python

puobot / scraper.py