mzec / puobot

Web robot koji radi katalog PUO i SPUO postupaka nadležnog ministarstva za zaštitu okoliša i prirode RH


puobot

Uvod

puobot je web robot koji radi katalog PUO i SPUO postupaka nadležnog ministarstva za zaštitu okoliša i prirode RH. Powering Robo-MZOIP.

Problem

Dokumenti o postupcima procjene utjecaja na okoliš na web stranici nadležnog ministarstva za zaštitu okoliša i prirode se dodaju na način da je nemoguće sustavno i redovito pratiti objave novih dokumenata.

Rješenje

Web scraper koji redovito prati nove dodane dokumente i radi katalog zahvata i dokumenata, te po potrebi nove zahvate objavljuje putem twitter-a.

Korištenje

python3 puobot.py [--twitter 1]

Ulazni podaci

Twitter

Za twitter funkcionalnost potrebno je imati Twitter oauth podatke u zasebnim redovima u datoteci /input/twit_api_key.txt.

twit_api_key.txt: [API Key] [API Secret] [Access token] [Access token secret]

Izlazni podaci

Svi pronađeni dokumenti pospremaju se u arhivu u zasebne .tsv datoteke:

Sve razlike između posljednje verzije arhive spremljene u output/ folderu ispisuju se na standardni output (konzolu)

Zahtjevi

  • Python 3
  • requests (2.12.4)
  • BeautifulSoup4 (4.5.3)
  • lxml parser (3.7.2)
  • scraperwiki (0.5.1)
  • twython

Contributors mzec narimiran boromire

Last run failed with status code 1.

Console output of last run

Injecting configuration and compiling...  -----> Python app detected  ! The latest version of Python 3 is python-3.6.2 (you are using python-3.6.0, which is unsupported).  ! We recommend upgrading by specifying the latest version (python-3.6.2).  Learn More: https://devcenter.heroku.com/articles/python-runtimes -----> Installing python-3.6.0 -----> Installing pip -----> Installing requirements with pip  Collecting lxml==3.7.2  Downloading https://files.pythonhosted.org/packages/84/bc/5d57e3c872669bced9651d5503c57f14e3b5198aa9bce17e900ffc373b2a/lxml-3.7.2-cp36-cp36m-manylinux1_x86_64.whl (7.2MB)  Collecting scraperwiki==0.5.1  Downloading https://files.pythonhosted.org/packages/30/84/d874847baad89f03e6984fcd87505a37bf924b66519d1e07bf76e2369af0/scraperwiki-0.5.1.tar.gz  Collecting beautifulsoup4==4.5.3  Downloading https://files.pythonhosted.org/packages/af/a3/9e803f838b3eeb313d45d916d4387cda8572c92e1aafeb53fd43ddb5da2c/beautifulsoup4-4.5.3-py3-none-any.whl (85kB)  Collecting requests==2.12.4  Downloading https://files.pythonhosted.org/packages/ed/9e/60cc074968c095f728f0d8d28370e8d396fa60afb7582735563cccf223dd/requests-2.12.4-py2.py3-none-any.whl (576kB)  Collecting six  Downloading https://files.pythonhosted.org/packages/73/fb/00a976f728d0d1fecfe898238ce23f502a721c0ac0ecfedb80e0d88c64e9/six-1.12.0-py2.py3-none-any.whl  Collecting sqlalchemy  Downloading https://files.pythonhosted.org/packages/14/0e/487f7fc1e432cec50d2678f94e4133f2b9e9356e35bacc30d73e8cb831fc/SQLAlchemy-1.3.10.tar.gz (6.0MB)  Collecting alembic  Downloading https://files.pythonhosted.org/packages/6f/42/48447bf41287bc577e4f340e7c28578e322567f5622a915bdfa01c83dc76/alembic-1.2.1.tar.gz (1.1MB)  Collecting Mako  Downloading https://files.pythonhosted.org/packages/b0/3c/8dcd6883d009f7cae0f3157fb53e9afb05a0d3d33b3db1268ec2e6f4a56b/Mako-1.1.0.tar.gz (463kB)  Collecting python-editor>=0.3  Downloading https://files.pythonhosted.org/packages/c6/d3/201fc3abe391bbae6606e6f1d598c15d367033332bd54352b12f35513717/python_editor-1.0.4-py3-none-any.whl  Collecting python-dateutil  Downloading https://files.pythonhosted.org/packages/41/17/c62faccbfbd163c7f57f3844689e3a78bae1f403648a6afb1d0866d87fbb/python_dateutil-2.8.0-py2.py3-none-any.whl (226kB)  Collecting MarkupSafe>=0.9.2  Downloading https://files.pythonhosted.org/packages/b2/5f/23e0023be6bb885d00ffbefad2942bc51a620328ee910f64abe5a8d18dd1/MarkupSafe-1.1.1-cp36-cp36m-manylinux1_x86_64.whl  Building wheels for collected packages: scraperwiki, sqlalchemy, alembic, Mako  Building wheel for scraperwiki (setup.py): started  Building wheel for scraperwiki (setup.py): finished with status 'done'  Created wheel for scraperwiki: filename=scraperwiki-0.5.1-cp36-none-any.whl size=6547 sha256=06b753a811df6c2107de149586f27a7fe7566e62d7558e23f4c5fcc1ff06b7df  Stored in directory: /tmp/pip-ephem-wheel-cache-g9v1rjmy/wheels/6a/6e/60/e13b585339206922e816bb90c355b79aa077ab2b15d7cc26a7  Building wheel for sqlalchemy (setup.py): started  Building wheel for sqlalchemy (setup.py): finished with status 'done'  Created wheel for sqlalchemy: filename=SQLAlchemy-1.3.10-cp36-cp36m-linux_x86_64.whl size=1187096 sha256=8c24fe7a3f3c6e1252242de3b8113e83a7aa2c4241a27c34b88a6b717832715c  Stored in directory: /tmp/pip-ephem-wheel-cache-g9v1rjmy/wheels/4b/b2/89/cd2231ee623987c605f049df55f40a3e4252ef6a15b94836c2  Building wheel for alembic (setup.py): started  Building wheel for alembic (setup.py): finished with status 'done'  Created wheel for alembic: filename=alembic-1.2.1-py2.py3-none-any.whl size=144229 sha256=21860b6820148e052156974ed3728b6cf12317c0cc235b4ebbd2904c7cbcc730  Stored in directory: /tmp/pip-ephem-wheel-cache-g9v1rjmy/wheels/c6/b8/fd/1f16371156a8184172c4935cbbef6a345d57dd447e31a36633  Building wheel for Mako (setup.py): started  Building wheel for Mako (setup.py): finished with status 'done'  Created wheel for Mako: filename=Mako-1.1.0-cp36-none-any.whl size=75363 sha256=4657205faf06c8308bdf5772cfff951d4887b29bf1526372ffc3f662871424dd  Stored in directory: /tmp/pip-ephem-wheel-cache-g9v1rjmy/wheels/98/32/7b/a291926643fc1d1e02593e0d9e247c5a866a366b8343b7aa27  Successfully built scraperwiki sqlalchemy alembic Mako  Installing collected packages: lxml, requests, six, sqlalchemy, MarkupSafe, Mako, python-editor, python-dateutil, alembic, scraperwiki, beautifulsoup4  Successfully installed Mako-1.1.0 MarkupSafe-1.1.1 alembic-1.2.1 beautifulsoup4-4.5.3 lxml-3.7.2 python-dateutil-2.8.0 python-editor-1.0.4 requests-2.12.4 scraperwiki-0.5.1 six-1.12.0 sqlalchemy-1.3.10   -----> Discovering process types  Procfile declares types -> scraper Injecting scraper and running... tražim PUO postupke... Traceback (most recent call last): File "scraper.py", line 85, in <module> puo_tab = trazenje('puo') File "scraper.py", line 82, in trazenje return puoscrape(url, postupak) File "scraper.py", line 33, in puoscrape link_elem = (soup.find_all('div', 'four mobile-four columns')[2] IndexError: list index out of range

Data

Downloaded 37 times by mzec igadmile curlin29

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (4.29 MB) Use the API

rows 10 / 1851

kategorija ime dokument file_ime file_link
PUO postupci 2014.
Modernizacija postojećeg i izgradnja drugog kolosijeka željezničke pruge M201 na dionici Križevci - Koprivnica - državna granica
PUO javni uvid
Ne-tehnički sažetak Studije [PDF]
PUO postupci 2014.
Modernizacija postojećeg i izgradnja drugog kolosijeka željezničke pruge M201 na dionici Križevci - Koprivnica - državna granica
PUO javni uvid
STUDIJA o utjecaju na okoliš [PDF]
PUO postupci 2014.
Modernizacija postojećeg i izgradnja drugog kolosijeka željezničke pruge M201 na dionici Križevci - Koprivnica - državna granica
PUO javni uvid
15.10.2014. - INFORMACIJA o odluci da se Studija o utjecaju na okoliš upućuje na javnu raspravu [PDF]
PUO postupci 2014.
Modernizacija postojećeg i izgradnja drugog kolosijeka željezničke pruge M201 na dionici Križevci - Koprivnica - državna granica
PUO informacija o zahtjevu
28.04.2014. - INFORMACIJA o zahtjevu za provedbu postupka procjene utjecaja zahvata na okoliš [PDF]
PUO postupci 2014.
Izgradnja dionice pruge Hrvatski Leskovac - Josipdol
PUO informacija o zahtjevu
16.07.2014. - INFORMACIJA o zahtjevu za provedbu postupka procjene utjecaja zahvata na okoliš [PDF]
PUO postupci 2014.
Eksploatacija arhitektonsko-građevnog kamena (kao primarne sirovine) i tehničko-građevnog kamena (kao sekundarne sirovine) na budućim eksploatacijskim poljima 'Dalma-Dolit' i 'Dolit-Marasović' na području Grada Omiša
PUO javni uvid
17.12.2014. - INFORMACIJA o odluci da se Studija o utjecaju na okoliš upućuje na javnu raspravu [PDF]
PUO postupci 2014.
Eksploatacija arhitektonsko-građevnog kamena (kao primarne sirovine) i tehničko-građevnog kamena (kao sekundarne sirovine) na budućim eksploatacijskim poljima 'Dalma-Dolit' i 'Dolit-Marasović' na području Grada Omiša
PUO informacija o zahtjevu
10.09.2014. - INFORMACIJA o zahtjevu za provedbu postupka procjene utjecaja zahvata na okoliš [PDF]
PUO postupci 2014.
Eksploatacija tehničko-građevnog kamena na eksploatacijskom polju 'Zvečaj', Grad Duga Resa
PUO javni uvid
Ne-tehnički sažetak Studije [PDF]
PUO postupci 2014.
Eksploatacija tehničko-građevnog kamena na eksploatacijskom polju 'Zvečaj', Grad Duga Resa
PUO javni uvid
Grafički prilozi [PDF]
PUO postupci 2014.
Eksploatacija tehničko-građevnog kamena na eksploatacijskom polju 'Zvečaj', Grad Duga Resa
PUO javni uvid
Tekstualni prilozi [PDF]

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (4.29 MB) Use the API

rows 10 / 7359

kategorija ime dokument file_ime file_link
OPUO postupci 2014.
Pogon za preradu proizvoda ribarstva - Poslovni park Karlovac, Logorište, kapaciteta prerade 3,27 t/dan, Općina Barilović
OPUO informacija
16.12.2014. - INFORMACIJA o zahtjevu za ocjenu o potrebi procjene utjecaja zahvata na okoliš [PDF]
OPUO postupci 2015.
Rekonstrukcija luke otvorene za javni promet Červar Porat
OPUO elaborat
Prilog: Presjeci [PDF]
OPUO postupci 2015.
Rekonstrukcija luke otvorene za javni promet Červar Porat
OPUO elaborat
Prilog: Situacija - novo stanje [PDF]
OPUO postupci 2015.
Rekonstrukcija luke otvorene za javni promet Červar Porat
OPUO elaborat
Prilog: Kopija katastarskog plana - novo stanje [PDF]
OPUO postupci 2015.
Rekonstrukcija luke otvorene za javni promet Červar Porat
OPUO informacija
09.01.2015. - INFORMACIJA o zahtjevu za ocjenu o potrebi procjene utjecaja na okoliš [PDF]
OPUO postupci 2015.
Sanacija i zatvaranje odlagališta neopasnog otpada Gajevi u Drenovcima
OPUO informacija
12.01.2015. - INFORMACIJA o zahtjevu za ocjenu o potrebi procjene utjecaja na okoliš [PDF]
OPUO postupci 2015.
Rekonstrukcija te povećanje kapaciteta, efikasnosti i energetske učinkovitosti postojećeg postrojenja Tvornice ulja Čepin, Općina Čepin
OPUO informacija
13.01.2015. - INFORMACIJA o zahtjevu za ocjenu o potrebi procjene utjecaja na okoliš [PDF]
OPUO postupci 2015.
Dogradnja poslovne građevine 'Klaonica i prerada mesa', Petrijevci
OPUO informacija
26.01.2015. - INFORMACIJA o zahtjevu za ocjenu o potrebi procjene utjecaja zahvata na okoliš [PDF]
OPUO postupci 2015.
Uređenje plaže u Općini Funtana (Istarska županija) od uvale Perila do autokampa Bijela uvala
OPUO informacija
02.02.2015. - INFORMACIJA o zahtjevu za ocjenu o potrebi procjene utjacaja na okoliš [PDF]
OPUO postupci 2015.
Uređenje sportsko-rekreacijskog centra Mujela na području Grada Novigrada u Istarskoj županiji
OPUO elaborat
Prilog: Vizualizacija klupske kuće [PDF]

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (4.29 MB) Use the API

rows 10 / 22

ime file_ime file_link
Novi blokovi nuklearne elektrane Paks NPP II u Republici Mađarskoj
09.09.2015. - OBAVIJEST o javnoj raspravi o Studiji o utjecaju na okoliš [PDF]
Novi blokovi nuklearne elektrane Paks NPP II u Republici Mađarskoj
Sažetak za javnost [PDF]
Novi blokovi nuklearne elektrane Paks NPP II u Republici Mađarskoj
STUDIJA o utjecaju na okoliš - Međunarodno poglavlje [PDF]
Novi blokovi nuklearne elektrane Paks NPP II u Republici Mađarskoj
STUDIJA o utjecaju na okoliš [PDF]
Novi blokovi nuklearne elektrane Paks NPP II u Republici Mađarskoj
17.09.2015. - INFORMACIJA o javnoj raspravi o Studiji o utjecaju na okoliš [PDF]
Hidorelektrana Mokrice u Republici Sloveniji
Prilog Studiji 2 [ZIP]
Hidorelektrana Mokrice u Republici Sloveniji
Prilog Studiji 1 [ZIP]
Hidorelektrana Mokrice u Republici Sloveniji
STUDIJA o utjecaju na okoliš [ZIP]
Hidorelektrana Mokrice u Republici Sloveniji
19.10.2015. - INFORMACIJA o javnoj raspravi o Studiji o utjecaju na okoliš [PDF]
Hidorelektrana Mokrice u Republici Sloveniji
18.11.2015. - OBAVIJEST o produljenju trajanja javnog uvida i javne rasprave [PDF]

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (4.29 MB) Use the API

rows 10 / 107

ime file_ime file_link
Državni prostorni plan za područje HE Brežice i Državni prostorni plan za područje HE Brežice u Republici Sloveniji
Državni prostorni plan za područje HE Brežice [PDF]
Državni prostorni plan za područje HE Brežice i Državni prostorni plan za područje HE Brežice u Republici Sloveniji
Strateška studija za Državni prostorni plan za područje HE Brežice [PDF]
Državni prostorni plan za područje HE Brežice i Državni prostorni plan za područje HE Brežice u Republici Sloveniji
01.03.2010. - INFORMACIJA o javnoj raspravi [PDF]
Nacionalni energetski program Republike Slovenije 2010. - 2030.
Sažetak Nacionalnog energetskog programa Republike Slovenije [PDF]
Nacionalni energetski program Republike Slovenije 2010. - 2030.
Ne-tehnički sažetak Strateške studije [PDF]
Nacionalni energetski program Republike Slovenije 2010. - 2030.
21.11.2011. - INFORMACIJA o javnoj raspravi [PDF]
Plan upravljanja vodnim područjem Dunavskog sliva i Jadranskog mora Republike Slovenije 2009. - 2015.
Strateška studija [PDF]
Plan upravljanja vodnim područjem Dunavskog sliva i Jadranskog mora Republike Slovenije 2009. - 2015.
Ne-tehnički sažetak Strateške studije [PDF]
Plan upravljanja vodnim područjem Dunavskog sliva i Jadranskog mora Republike Slovenije 2009. - 2015.
23.08.2012. - INFORMACIJA o javnoj raspravi [PDF]
Državni prostorni plan za područje HE Mokrice
Nacrt Državnog prostornog plana za područje HE Mokrice [PDF]

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (4.29 MB) Use the API

rows 10 / 120

ime file_ime file_link
Strategija prilagodbe klimatskim promjenama u Republici Hrvatskoj za razdoblje do 2040. godine s pogledom na 2070. godinu
19.07.2017. - INFORMACIJA o pokretanju postupka strateške procjene i izradi strateške studije – određivanje sadržaja strateške studije utjecaja na okoliš (pdf)
Strategija prilagodbe klimatskim promjenama u Republici Hrvatskoj za razdoblje do 2040. godine s pogledom na 2070. godinu
19.07.2017. - ODLUKA o započinjanju postupka strateške procjene utjecaja na okoliš (pdf)
Operativni program 'Okoliš' 2007. - 2013.
Operativni program 'Okoliš' 2007.-2013. [PDF]
Operativni program 'Okoliš' 2007. - 2013.
21.05.2010. - INFORMACIJA o provedbi postupka određivanja sadržaja strateške studije [PDF]
Operativni program 'Okoliš' 2007. - 2013.
27.09.2010. - ODLUKA o sadržaju strateške studije [PDF]
Operativni program 'Okoliš' 2007. - 2013.
Nacrt prijedloga Operativnog programa 'Okoliš' [PDF]
Operativni program 'Okoliš' 2007. - 2013.
Ne-tehnički sažetak Strateške studije [PDF]
Operativni program 'Okoliš' 2007. - 2013.
Sažetak Operativnog programa 'Okoliš i energetika' [PDF]
Operativni program 'Okoliš' 2007. - 2013.
11.06.2012. - INFORMACIJA o javnoj raspravi [PDF]
Operativni program 'Okoliš' 2007. - 2013.
02.08.2013. - IZVJEŠĆE o provedenom postupku strateške procjene utjecaja na okoliš [PDF]

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (4.29 MB) Use the API

rows 10 / 77

ime nadlezno-tijelo link
IV. Izmjene i dopune Prostornog plana Vukovarsko-srijemske županije
Nadležno tijelo je Vukovarsko-srijemska županija.
Plan gospodarenja otpadom u Gradu Zagrebu do 2015.
Nadležno tijelo je Grad Zagreb.
Operativni program 'Regionalna konkurentnost' 2007.-2013.
Nadležno tijelo je Ministarstva regionalnoga razvoja i fondova Europske unije.
Izmjene i dopune Prostornog plana Istarske županije
Nadležno tijelo je Istarska županija.
Prostorni plan Primorsko-goranske županije
Nadležno tijelo je Primorsko-goranska županija.
IV. Izmjene i dopune Prostornog plana Vukovarsko-srijemske županije
Nadležno tijelo je Vukovarsko-srijemska županija.
Nacionalni plan ribarstva Republike Hrvatske i Operativni program 'Ribarstvo' 2007.-2013.
Nadležno tijelo je Ministarstvo poljoprivrede.
Višegodišnji program gradnje regulacijskih i zaštitnih vodnih građevina i građevina za melioraciju 2013.-2017.
Nadležno tijelo je Ministarstvo poljoprivrede.
Program ruralnog razvoja Republike Hrvatske 2014.-2020.
Nadležno tijelo je Ministarstvo poljoprivrede.
Strategija prometnog razvoja Republike Hrvatske 2014.-2030.
Nadležno tijelo je Ministarstvo pomorstva, prometa i infrastrukture.

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (4.29 MB) Use the API

rows 1 / 1

ime link
Plan o izmjenama Plana gospodarenja otpadom u Republici Hrvatskoj za razdoblje 2007.-2015.

Statistics

Average successful run time: 3 minutes

Total run time: 1 day

Total cpu time used: about 2 hours

Total disk space used: 4.91 MB

History

  • Auto ran revision dd347169 and failed .
    nothing changed in the database
  • Auto ran revision dd347169 and failed .
    nothing changed in the database
  • Auto ran revision dd347169 and failed .
    nothing changed in the database
  • Auto ran revision dd347169 and failed .
    nothing changed in the database
  • Auto ran revision dd347169 and failed .
    nothing changed in the database
  • ...
  • Created on morph.io

Show complete history

Scraper code

Python

puobot / scraper.py