openaustralia / ukraine_verkhovna_rada_votes

Votes by deputies in the Ukrainian Parliament

README.md

Ukraine Verkhovna Rada Votes

This is a scraper that runs on morph.io to collect details of every recorded vote in the Ukrainian parliament. It's intended to be used by a project to bring They Vote For You to Ukraine.

It saves data to morph.io in a flat format that can be converted easily into Popolo. You can use the little Sinatra proxy, morph_popolo to do exactly that.

Choosing which days to scrape

This scraper is designed to run automatically each day. It checks the most recent data in the database and tries to scrape all dates up until the present day.

If you'd like to scrape a different day, perhaps because of a problem scraping a particular date, you can set environment variables to tell the scraper what days to scrape.

MORPH_ONLY_PARSE_DATE: Set this to a date, e.g. "2016-01-20", to only scrape a specific day. Useful if you're debugging a problem scraping that day.

MORPH_START_DATE: Set this to a date, e.g. "2016-01-20", to scrape every day from that date until the present day. Useful if you're backfilling data in the scraper.

These can be set in the morph.io Settings for this scraper. Don't forget to remove them when you're done so the scraper goes back to working how it usually does.

Helpful URLs

All these URLs have obvious IDs you can change to get other pages:

  • Calendar of sitting days: http://w1.c1.rada.gov.ua/pls/radangs09/nsel_h

  • That loads this via AJAX for each session (the nom_s parameter is the session number): http://w1.c1.rada.gov.ua/pls/radangs09/nsell?noms=3&ss=3

  • Plenary session day without votes: http://w1.c1.rada.gov.ua/pls/radangs09/nselh2?data=01092015&noms=3

  • Plenary session day with votes: http://w1.c1.rada.gov.ua/pls/radangs09/nselh2?data=02092015&noms=3

  • Vote event detail page: http://w1.c1.rada.gov.ua/pls/radangs09/nsgolos?g_id=3479

Contributors henare beastie87

Last run failed with status code 1.

Console output of last run

Injecting configuration and compiling... [1G [1G-----> Ruby app detected [1G-----> Compiling Ruby [1G-----> Using Ruby version: ruby-2.0.0 [1G-----> Installing dependencies using bundler 1.15.2 [1G Running: bundle install --without development:test --path vendor/bundle --binstubs vendor/bundle/bin -j4 --deployment [1G Fetching gem metadata from https://rubygems.org/...... [1G Fetching version metadata from https://rubygems.org/. [1G Fetching https://github.com/openaustralia/scraperwiki-ruby.git [1G Rubygems 2.0.14.1 is not threadsafe, so your gems will be installed one at a time. Upgrade to Rubygems 2.1.0 or higher to enable parallel gem installation. [1G Using bundler 1.15.2 [1G Fetching unf_ext 0.0.7.1 [1G Installing unf_ext 0.0.7.1 with native extensions [1G Fetching httpclient 2.6.0.1 [1G Installing httpclient 2.6.0.1 [1G Fetching mime-types 2.5 [1G Installing mime-types 2.5 [1G Fetching net-http-digest_auth 1.4 [1G Installing net-http-digest_auth 1.4 [1G Fetching net-http-persistent 2.9.4 [1G Installing net-http-persistent 2.9.4 [1G Fetching mini_portile 0.6.2 [1G Installing mini_portile 0.6.2 [1G Fetching ntlm-http 0.1.1 [1G Installing ntlm-http 0.1.1 [1G Fetching webrobots 0.1.1 [1G Installing webrobots 0.1.1 [1G Fetching sqlite3 1.3.10 [1G Installing sqlite3 1.3.10 with native extensions [1G Fetching unf 0.1.4 [1G Installing unf 0.1.4 [1G Fetching nokogiri 1.6.6.2 [1G Installing nokogiri 1.6.6.2 with native extensions [1G Fetching sqlite_magic 0.0.3 [1G Installing sqlite_magic 0.0.3 [1G Fetching domain_name 0.5.24 [1G Installing domain_name 0.5.24 [1G Using scraperwiki 3.0.1 from https://github.com/openaustralia/scraperwiki-ruby.git (at morph_defaults@fc50176) [1G Fetching http-cookie 1.0.2 [1G Installing http-cookie 1.0.2 [1G Fetching mechanize 2.7.3 [1G Installing mechanize 2.7.3 [1G Bundle complete! 2 Gemfile dependencies, 17 gems now installed. [1G Gems in the groups development and test were not installed. [1G Bundled gems are installed into ./vendor/bundle. [1G Bundle completed (12.63s) [1G Cleaning up the bundler cache. [1G-----> Detecting rake tasks [1G [1G [1G-----> Discovering process types [1G Procfile declares types -> scraper Injecting scraper and running... Checking for votes on: 2019-07-13 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=13072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-14 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=14072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-15 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=15072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-16 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=16072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-17 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=17072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-18 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=18072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-19 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=19072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-20 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=20072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-21 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=21072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-22 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=22072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-23 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=23072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-24 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=24072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-25 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=25072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-26 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=26072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-27 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-28 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=28072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-29 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=29072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-30 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=30072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-31 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=31072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-01 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=01082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-02 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=02082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-03 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=03082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-04 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=04082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-05 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=05082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-06 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=06082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-07 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=07082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-08 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=08082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-09 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=09082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-10 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=10082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-11 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=11082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-12 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=12082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-13 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=13082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-14 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=14082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-15 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=15082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-16 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=16082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-17 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=17082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-18 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=18082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-19 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=19082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-20 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=20082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-21 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=21082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-22 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=22082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-23 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=23082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-24 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=24082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-25 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=25082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-26 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=26082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-27 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-28 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=28082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-29 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=29082019&nom_s=3 Found 175 vote events to scrape... Fetching vote event page: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=25 Querying morph.io scraper, openaustralia/ukraine_verkhovna_rada_deputies, for: SELECT DISTINCT COALESCE(faction_id, 'party/Позафракційні') AS faction_id, COALESCE(faction, 'Позафракційні') AS faction FROM 'data' Saving votes for faction: Позафракційні Querying morph.io scraper, openaustralia/ukraine_verkhovna_rada_deputies, for: select name, id from 'data' scraper.rb:75:in `person_name_to_id': Person ID not found for: Абрамович І.О. (RuntimeError) from scraper.rb:135:in `block (2 levels) in scrape_vote_event' from /app/vendor/bundle/ruby/2.0.0/gems/nokogiri-1.6.6.2/lib/nokogiri/xml/node_set.rb:187:in `block in each' from /app/vendor/bundle/ruby/2.0.0/gems/nokogiri-1.6.6.2/lib/nokogiri/xml/node_set.rb:186:in `upto' from /app/vendor/bundle/ruby/2.0.0/gems/nokogiri-1.6.6.2/lib/nokogiri/xml/node_set.rb:186:in `each' from scraper.rb:133:in `map' from scraper.rb:133:in `block in scrape_vote_event' from /app/vendor/bundle/ruby/2.0.0/gems/nokogiri-1.6.6.2/lib/nokogiri/xml/node_set.rb:187:in `block in each' from /app/vendor/bundle/ruby/2.0.0/gems/nokogiri-1.6.6.2/lib/nokogiri/xml/node_set.rb:186:in `upto' from /app/vendor/bundle/ruby/2.0.0/gems/nokogiri-1.6.6.2/lib/nokogiri/xml/node_set.rb:186:in `each' from scraper.rb:128:in `scrape_vote_event' from scraper.rb:181:in `block in scrape_sitting_date' from scraper.rb:180:in `each' from scraper.rb:180:in `scrape_sitting_date' from scraper.rb:208:in `block in <main>' from scraper.rb:206:in `each' from scraper.rb:206:in `<main>'

Data

Downloaded 468557 times by stoneguest openaustralia beastie87 henare lisoffsky savchukidze aberykolo Viktorr123s naaanazar zhemchuzhnykova MikeRalphson hmvs ivkil Sviatoslav-Babilia ap-Codkelden

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (562 MB) Use the API

rows 10 / 22200

organization_id identifier title start_date result source_url debate_url
rada
20
Поіменне голосування про проект Постанови про Тимчасову президію першої сесії Верховної Ради України восьмого скликання (№1001) - за основу та в цілому
2014-11-27T12:11:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=20
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27112014&nom_s=3
rada
21
Поіменне голосування про проект Постанови про порядок денний першої сесії Верховної Ради України восьмого скликання на період розгляду організаційних питань першої сесії Верховної Ради України восьмого скликання (№1002) - за основу та в цілому
2014-11-27T12:14:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=21
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27112014&nom_s=3
rada
22
Поіменне голосування про проект Постанови про Лічильну комісію Верховної Ради України восьмого скликання (№1005) - за основу та в цілому
2014-11-27T12:41:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=22
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27112014&nom_s=3
rada
23
Поіменне голосування про роботу без перерви до завершення розгляду питань порядку денного
2014-11-27T13:52:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=23
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27112014&nom_s=3
rada
24
Поіменне голосування про проект Постанови про Голову Верховної Ради України (№1006) - за основу та в цілому
2014-11-27T14:02:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=24
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27112014&nom_s=3
rada
25
Поіменне голосування про проект Постанови про призначення Яценюка А.П. Прем'єр-міністром України (№1007) - за основу та в цілому
2014-11-27T14:59:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=25
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27112014&nom_s=3
rada
26
Поіменне голосування про проект Постанови про порядок висвітлення роботи Верховної Ради України восьмого скликання (№1003) - за основу та в цілому
2014-11-27T15:03:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=26
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27112014&nom_s=3
rada
52
Поіменне голосування про продовження вечірнього пленарного засідання до завершення розгляду питань порядку денного
2014-12-02T12:36:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=52
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=02122014&nom_s=3
rada
54
Поіменне голосування про проект Постанови про призначення Клімкіна П.А. Міністром закордонних справ України (№1166) - за основу та в цілому
2014-12-02T17:58:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=54
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=02122014&nom_s=3
rada
55
Поіменне голосування про проект Постанови про призначення Полторака С.Т. Міністром оборони України (№1167) - за основу та в цілому
2014-12-02T18:08:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=55
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=02122014&nom_s=3

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (562 MB) Use the API

rows 10 / 9367473

vote_event_id voter_id option group_id
20
2524
yes
party/Позафракційні
20
15650
yes
party/Позафракційні
20
15669
yes
party/Позафракційні
20
16067
yes
party/Позафракційні
20
17993
yes
party/Позафракційні
20
12290
yes
party/Позафракційні
20
15839
yes
party/Позафракційні
20
17983
yes
party/Позафракційні
20
18058
yes
party/Позафракційні
20
11118
yes
party/Позафракційні

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (562 MB) Use the API

rows 10 / 21617

official_id title url vote_event_id
1001
Проект Постанови про Тимчасову президію першої сесії Верховної Ради України восьмого скликання
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1001&skl=9
20
1002
Проект Постанови про порядок денний першої сесії Верховної Ради України восьмого скликання на період розгляду організаційних питань першої сесії Верховної Ради України восьмого скликання
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1002&skl=9
21
1005
Проект Постанови про Лічильну комісію Верховної Ради України восьмого скликання
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1005&skl=9
22
1006
Проект Постанови про Голову Верховної Ради України
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1006&skl=9
23
1006
Проект Постанови про Голову Верховної Ради України
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1006&skl=9
24
1007
Проект Постанови про призначення Яценюка А.П. Прем'єр-міністром України
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1007&skl=9
25
1003
Проект Постанови про порядок висвітлення роботи Верховної Ради України восьмого скликання
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1003&skl=9
26
1166
Проект Постанови про призначення Клімкіна П.А. Міністром закордонних справ України
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1166&skl=9
54
1167
Проект Постанови про призначення Полторака С.Т. Міністром оборони України
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1167&skl=9
55
1008
Проект Постанови про формування складу Кабінету Міністрів України
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1008&skl=9
56

Statistics

Average successful run time: 6 minutes

Total run time: 29 days

Total cpu time used: about 17 hours

Total disk space used: 562 MB

History

  • Auto ran revision c87099e9 and failed .
    nothing changed in the database
  • Auto ran revision c87099e9 and failed .
    nothing changed in the database
  • Auto ran revision c87099e9 and failed .
    nothing changed in the database
  • Auto ran revision c87099e9 and failed .
    nothing changed in the database
  • Auto ran revision c87099e9 and failed .
    nothing changed in the database
  • ...
  • Created on morph.io

Show complete history