jarib / pollofpolls-scraper

Scrape Norwegian election polls from pollofpolls.no. Runs on [morph.io](https://morph.io).


pollofpolls-scraper

Scrape Norwegian election polls from various sources. Runs on morph.io.

Contributors jarib

Last run failed with status code 1.

Console output of last run

Injecting configuration and compiling...  -----> Ruby app detected -----> Compiling Ruby -----> Using Ruby version: ruby-2.2.2 -----> Installing dependencies using bundler 1.13.7  Running: bundle install --without development:test --path vendor/bundle --binstubs vendor/bundle/bin -j4 --deployment  Fetching gem metadata from https://rubygems.org/........  Fetching version metadata from https://rubygems.org/.  Installing multipart-post 2.0.0  Installing method_source 0.8.2  Installing coderay 1.1.0  Installing mini_portile 0.6.2  Installing slop 3.6.0  Using bundler 1.13.7  Installing sqlite3 1.3.10 with native extensions  Installing faraday 0.9.1  Installing pry 0.10.1  Installing nokogiri 1.6.6.2 with native extensions  Bundle complete! 4 Gemfile dependencies, 10 gems now installed.  Gems in the groups development and test were not installed.  Bundled gems are installed into ./vendor/bundle.  Bundle completed (15.59s)  Cleaning up the bundler cache. -----> Detecting rake tasks   -----> Discovering process types  Procfile declares types -> scraper Injecting scraper and running... unable to parse date from name: "Valg 2011" skipping invalid row: ["Viktig: Les fotnoter og forbehold om denne tabellen"] skipping invalid row: ["Poll of polls kommunestyrevalget er en beregning av partienes nasjonale nivåer basert på et veiet snitt av lokale partimålinger med spørsmål om stemmegivning ved kommunevalg.\nBeregningsmåten fremgår av Om-siden.\nPoll of polls oppdateres hver gang en ny lokal måling publiseres. Siste lokale måling med kommunevalgspørsmål 18. mai.\nPoll of polls pr. 18/5-2017 bygger på 9 målinger i 9 kommuner med samlet 27,1% av stemmene i 2011. Målingene har i alt 5380 spurte.\nPoll of polls kommunevalg beregnes kun på bakgrunn av meningsmålinger i enkeltkommuner. Kommunevalgsmålinger i fylker inngår ikke.\nMandatfordeling er basert på mandatfordelingen i 2011."] unable to parse date from name: "Valg 2015" skipping invalid row: ["Viktig: Les fotnoter og forbehold om denne tabellen"] skipping invalid row: ["Poll of polls fylkestingsvalget er en beregning av partienes nasjonale nivåer basert på et veiet snitt av lokale partimålinger med spørsmål om stemmegivning ved fylkesvalg.\nBeregningsmåten fremgår av Om-siden.\nPoll of polls oppdateres hver gang en ny lokal måling publiseres. Siste lokale måling med fylkesvalgspørsmål 12. september.\nPoll of polls pr. 12/9-2015 bygger på målinger i fylker med samlet 0,0% av stemmene i 2015. Målingene har i alt spurte.\nMandatfordeling er basert på mandatfordelingen i 2011."] skipping invalid row: ["Viktig: Les fotnoter og forbehold om denne tabellen | Last ned"] skipping invalid row: ["Poll of polls stortingsvalget 2013 er en beregning av partienes nasjonale nivåer basert på et veiet snitt av lokale partimålinger med spørsmål om stemmegivning ved stortingsvalg.\nBeregningsmåten fremgår av Om-siden.\nPoll of polls oppdateres hver gang en ny lokal måling publiseres. Siste lokale måling med stortingsvalgspørsmål 6. juni.\nPoll of polls pr. 6/6-2017 bygger på 19 målinger i 18 fylker/kommuner med samlet 96,6% av stemmene i 2013. Målingene har i alt 14407 spurte."] scraper.rb:110:in `scrape_infact': unexpected table size mismatch, expected 9, got 0 (RuntimeError) from scraper.rb:41:in `run' from scraper.rb:252:in `<main>'

Data

Downloaded 564 times by vgno jarib MikeRalphson Pederz

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (48 KB) Use the API

rows 10 / 520

startDate endDate source election region party percentage comment mandates
2017-05-29
2017-06-04
pollofpolls.no
parliament
Norge
A
32.2
Uke 23-2017
61
2017-05-29
2017-06-04
pollofpolls.no
parliament
Norge
H
22.3
Uke 23-2017
41
2017-05-29
2017-06-04
pollofpolls.no
parliament
Norge
FrP
11.8
Uke 23-2017
22
2017-05-29
2017-06-04
pollofpolls.no
parliament
Norge
SV
4.6
Uke 23-2017
8
2017-05-29
2017-06-04
pollofpolls.no
parliament
Norge
Sp
12.7
Uke 23-2017
23
2017-05-29
2017-06-04
pollofpolls.no
parliament
Norge
KrF
5.3
Uke 23-2017
10
2017-05-29
2017-06-04
pollofpolls.no
parliament
Norge
V
3.5
Uke 23-2017
2
2017-05-29
2017-06-04
pollofpolls.no
parliament
Norge
MDG
2.9
Uke 23-2017
1
2017-05-29
2017-06-04
pollofpolls.no
parliament
Norge
R
2.3
Uke 23-2017
1
2017-05-29
2017-06-04
pollofpolls.no
parliament
Norge
Andre
2.0
Uke 23-2017
0

Statistics

Average successful run time: less than a minute

Total run time: about 11 hours

Total cpu time used: 28 minutes

Total disk space used: 90.9 KB

History

  • Auto ran revision 1423da3d and failed .
    nothing changed in the database
  • Auto ran revision 1423da3d and failed .
    6 records updated in the database
  • Auto ran revision 1423da3d and failed .
    520 records updated in the database
  • Auto ran revision 1423da3d and failed .
    829 records removed in the database
  • Auto ran revision 1423da3d and failed .
    nothing changed in the database
  • ...
  • Created on morph.io

Show complete history

Scraper code

Ruby

pollofpolls-scraper / scraper.rb