This is a scraper that runs on Morph. To get started see the documentation

Contributors tmtmtmtm

Last run completed successfully .

Console output of last run

Injecting configuration and compiling...  -----> Ruby app detected -----> Compiling Ruby -----> Using Ruby version: ruby-2.3.3 -----> Installing dependencies using bundler 1.15.2  Running: bundle install --without development:test --path vendor/bundle --binstubs vendor/bundle/bin -j4 --deployment  Fetching gem metadata from https://rubygems.org/........  Fetching version metadata from https://rubygems.org/..  Fetching dependency metadata from https://rubygems.org/.  Fetching https://github.com/everypolitician/everypolitician-ruby.git  Fetching https://github.com/openc/sqlite_magic.git  Fetching https://github.com/openaustralia/scraperwiki-ruby.git  Fetching https://github.com/everypolitician/wikisnakker.git  Fetching https://github.com/everypolitician/wikidata-fetcher.git  Fetching rake 12.0.0  Fetching activesupport-inflector 0.1.0  Fetching ast 2.3.0  Installing activesupport-inflector 0.1.0  Installing ast 2.3.0  Using bundler 1.15.2  Fetching coderay 1.1.1  Installing rake 12.0.0  Fetching colorize 0.8.1  Installing colorize 0.8.1  Fetching diskcached 1.1.3  Fetching unf_ext 0.0.7.4  Installing coderay 1.1.1  Installing unf_ext 0.0.7.4 with native extensions  Fetching require_all 1.4.0  Installing diskcached 1.1.3  Installing require_all 1.4.0  Fetching excon 0.58.0  Fetching multipart-post 2.0.0  Installing multipart-post 2.0.0  Installing excon 0.58.0  Fetching hashie 3.5.6  Installing hashie 3.5.6  Fetching httpclient 2.8.3  Fetching i18n 0.8.1  Installing httpclient 2.8.3  Installing i18n 0.8.1  Fetching json 2.1.0  Installing json 2.1.0 with native extensions  Fetching method_source 0.8.2  Installing method_source 0.8.2  Fetching mime-types-data 3.2016.0521  Installing mime-types-data 3.2016.0521  Fetching mini_portile2 2.1.0  Installing mini_portile2 2.1.0  Fetching netrc 0.11.0  Installing netrc 0.11.0  Fetching open-uri-cached 0.0.5  Installing open-uri-cached 0.0.5  Fetching powerpack 0.1.1  Installing powerpack 0.1.1  Fetching slop 3.6.0  Installing slop 3.6.0  Fetching ruby-progressbar 1.8.1  Installing ruby-progressbar 1.8.1  Fetching unicode-display_width 1.2.1  Installing unicode-display_width 1.2.1  Fetching sqlite3 1.3.13  Installing sqlite3 1.3.13 with native extensions  Fetching yajl-ruby 1.3.0  Installing yajl-ruby 1.3.0 with native extensions  Fetching parser 2.4.0.0  Installing parser 2.4.0.0  Fetching rainbow 2.2.2  Installing rainbow 2.2.2 with native extensions  Fetching everypolitician-popolo 0.8.0  Installing everypolitician-popolo 0.8.0  Fetching faraday 0.12.1  Installing faraday 0.12.1  Fetching mime-types 3.1  Installing mime-types 3.1  Fetching nokogiri 1.7.1  Installing nokogiri 1.7.1 with native extensions  Fetching pry 0.10.4  Installing pry 0.10.4  Fetching unf 0.1.4  Installing unf 0.1.4  Using sqlite_magic 0.0.6 from https://github.com/openc/sqlite_magic.git (at master@4df975e)  Using wikisnakker 0.9.1 from https://github.com/everypolitician/wikisnakker.git (at master@72dbb8b)  Using everypolitician 0.20.0 from https://github.com/everypolitician/everypolitician-ruby.git (at master@20582b1)  Fetching faraday_middleware 0.11.0.1  Fetching domain_name 0.5.20170404  Fetching rubocop 0.48.1  Installing faraday_middleware 0.11.0.1  Installing domain_name 0.5.20170404  Using scraperwiki 3.0.1 from https://github.com/openaustralia/scraperwiki-ruby.git (at morph_defaults@fc50176)  Fetching wikidata-client 0.0.10  Installing rubocop 0.48.1  Fetching http-cookie 1.0.3  Installing http-cookie 1.0.3  Installing wikidata-client 0.0.10  Fetching faraday-cookie_jar 0.0.6  Installing faraday-cookie_jar 0.0.6  Fetching rest-client 2.0.2  Fetching mediawiki_api 0.7.1  Installing mediawiki_api 0.7.1  Installing rest-client 2.0.2  Using wikidata-fetcher 0.21.0 from https://github.com/everypolitician/wikidata-fetcher.git (at master@69ea1ee)  Bundle complete! 14 Gemfile dependencies, 47 gems now installed.  Gems in the groups development and test were not installed.  Bundled gems are installed into ./vendor/bundle.  Bundle completed (41.52s)  Cleaning up the bundler cache. -----> Detecting rake tasks   -----> Discovering process types  Procfile declares types -> scraper Injecting scraper and running... ⁇ Unknown property: https://www.wikidata.org/wiki/Property:P2962 for Q4392612 ⁇ Unknown property: https://www.wikidata.org/wiki/Property:P3314 for Q4392612 ⁇ Unknown property: https://www.wikidata.org/wiki/Property:P3315 for Q4392612 ‼ Q20574427 is_instance_of Wikimedia list article. Skipping ⁇ Unknown property: https://www.wikidata.org/wiki/Property:P4293 for Q380986 ⁇ Unknown property: https://www.wikidata.org/wiki/Property:P3520 for Q2451422 ⁇ Unknown property: https://www.wikidata.org/wiki/Property:P3538 for Q1932838 ‼ Q11020849 is_instance_of Wikimedia list article. Skipping ‼ Q4992560 is_instance_of Wikimedia list article. Skipping

Data

Downloaded 1048 times by everypolitician MikeRalphson tmtmtmtm

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (291 KB) Use the API

rows 10 / 208

id name__lv name__en name__de name__af name__an name__ast name__bar name__br name__bs name__ca name__co name__cs name__cy name__da name__eo name__es name__et name__eu name__fi name__fr name__fur name__ga name__gd name__gl name__gsw name__hr name__hu name__is name__it name__lb name__li name__lij name__lmo name__lt name__nap name__nb name__nds name__nds_nl name__nl name__nn name__pcd name__pl name__pms name__pt name__rm name__ro name__sc name__scn name__sco name__sk name__sl name__sq name__sv name__tr name__vec name__vls name__wa name wikipedia__lv image gender birth_date original_wikiname wikipedia__commons wikipedia__pl given_name twitter name__ru wikipedia__ru identifier__VIAF wikipedia__en identifier__freebase wikipedia__plwikiquote website wikipedia__ca wikipedia__et identifier__ISNI identifier__LCAuth identifier__LNB name__az wikipedia__az wikipedia__fr name__he name__ko name__be name__oc name__id name__la name__be_tarask name__io name__ka name__zh name__uk name__fa name__tt name__ar wikipedia__ar wikipedia__be_x_old wikipedia__be wikipedia__cs wikipedia__da wikipedia__de wikipedia__es wikipedia__fa wikipedia__fi wikipedia__he wikipedia__id wikipedia__io wikipedia__it wikipedia__ka wikipedia__ko wikipedia__la wikipedia__lt wikipedia__nl wikipedia__no wikipedia__oc wikipedia__pt wikipedia__sv wikipedia__tt wikipedia__uk wikipedia__zh identifier__GND identifier__Munzinger identifier__FAST wikipedia__tr name__ltg wikipedia__ltg identifier__SUDOC name__sgs wikipedia__bat_smg identifier__EuroparlMEP identifier__BNF name__en_ca name__en_gb name__kk name__de_ch name__ja name__el name__pt_br name__bg name__vi name__tl wikipedia__bg wikipedia__el wikipedia__eo wikipedia__hu wikipedia__ja wikipedia__kk wikipedia__lb wikipedia__ruwikiquote wikipedia__tl wikipedia__vi name__fo wikipedia__fo identifier__NLP wikipedia__ukwikiquote wikipedia__ro name__ie wikipedia__ie wikipedia__sk identifier__parlement name__yo name__hy name__sr wikipedia__hy wikipedia__lmo wikipedia__ruwikinews wikipedia__sco wikipedia__sr wikipedia__yo name__vmf name__pdc identifier__MusicBrainz identifier__NTA identifier__IMDB name__th name__sh wikipedia__nn wikipedia__sh wikipedia__th identifier__moviemeter identifier__allmovie identifier__elonet identifier__PORT identifier__CSFD name__zh_hans name__zh_hant name__zh_hk name__zh_cn name__zh_sg name__zh_tw name__tg_latn name__sr_el name__sr_ec name__ilo name__mr name__tg name__nov wikipedia__co wikipedia__gl wikipedia__ilo wikipedia__mr wikipedia__nov wikipedia__sl wikipedia__tg wikipedia__hsb name__hsb occupation identifier__snac wikipedia__itwikiquote identifier__persee identifier__GTAA identifier__google_knowledge identifier__NNDB name__bm name__de_at name__frc name__frp name__ia name__jam name__kab name__kg name__mg name__min name__ms name__nrm name__pap name__prg name__rgn name__sw name__vo name__wo name__zu name__kl wikipedia__eu identifier__Britannica wikipedia__ast identifier__NUKAT name__ace identifier__SELIBR
Q4261381
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš
Valdis Liepiņš (ekonomists)
https://upload.wikimedia.org/wikipedia/commons/e/e6/Valdis_Liepiņš.jpg
male
1939
Valdis Liepiņš
Category:Valdis Liepiņš
Valdis Liepiņš
Valdis
Лиепиньш, Валдис
Лиепиньш, Валдис
politician
Q11713991
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cwietkowa
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
Irina Cvetkova
female
1973-08-21
Irina Cwietkowa
Category:Irina Cvetkova
Irina Cvetkova
Irina
politician
Q3744607
Andris Bērziņš
Andris Bērziņš
Andris Bērziņš
Andris Bērziņš
Andris Bērziņš
Andris Bērziņš
Andris Bērziņš
Andris Bērziņš
Andris Bērziņš
Andris Bērziņš (politiķis, 1955)
https://upload.wikimedia.org/wikipedia/commons/f/f5/Flickr_-_Saeima_-_10.Saeimas_deputāts_Andris_Bērziņš_(ievēlēts_Zemgales_apgabalā).jpg
male
1955-11-26
Andris Bērziņš (ur. 1955)
Category:Andris Bērziņš (Politician)
Andris Bērziņš (ur. 1955)
Andris
Andris Bērziņš (sündinud 1955)
Andris Bērziņš (1955)
politician
Q11751891
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
https://upload.wikimedia.org/wikipedia/commons/6/6c/Kārlis_Eņģelis.jpg
male
1983
Kārlis Eņģelis
Category:Kārlis Eņģelis
Kārlis Eņģelis
Kārlis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
Kārlis Eņģelis
politician
Q22997943
Valdis Kalnozols
Valdis Kalnozols
Valdis Kalnozols
Valdis Kalnozols
Valdis Kalnozols
https://upload.wikimedia.org/wikipedia/commons/7/70/Saeimas_sēde_18.februārī_(24986255452).jpg
male
1962-05-06
Valdis Kalnozols
Valdis
businessperson
Q1491211
Gaidis Bērziņš
Gaidis Bērziņš
Gaidis Bērziņš
Gaidis Bērziņš
Gaidis Bērziņš
Gaidis Bērziņš
Gaidis Bērziņš
Gaidis Bērziņš
Gaidis Bērziņš
Gaidis Bērziņš
https://upload.wikimedia.org/wikipedia/commons/1/1a/12.Saeimas_deputāts_Gaidis_Bērziņš_(15364092223).jpg
male
1970-10-20
Gaidis Bērziņš
Category:Gaidis Bērziņš
Gaidis Bērziņš
Gaidis Bērziņš
/m/0hgmn5m
Gaidis Bērziņš
Gaidis Bērziņš
Gaidis Bērziņš
Gaidis Bērziņš
politician
Q9304189
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
Rasma Kārkliņa
https://upload.wikimedia.org/wikipedia/commons/5/5b/Rasma_Kārkliņa.jpg
female
1946-06-07
Rasma Kārkliņa
Category:Rasma Kārkliņa
Rasma Kārkliņa
Rasma
17313150
0000 0001 0875 0103
170009343
033403686
124272610
politician
40063
Q28972967
Jānis Ruks
Jānis Ruks
Jānis Ruks
https://upload.wikimedia.org/wikipedia/commons/e/e0/12.Saeimas_deputāts_Jānis_Ruks_(15815948900).jpg
male
1963
Jānis
politician
Q11213537
Kārlis Šadurskis
Kārlis Šadurskis
Kārlis Šadurskis
Kārlis Šadurskis
Kārlis Šadurskis
Kārlis Šadurskis
Kārlis Šadurskis
Kārlis Šadurskis
Kārlis Šadurskis
https://upload.wikimedia.org/wikipedia/commons/4/4c/Flickr_-_Saeima_-_10.Saeimas_deputāts_Kārlis_Šadurskis.jpg
male
1959-10-11
Kārlis Šadurskis
Category:Kārlis Šadurskis
Kārlis Šadurskis
Kārlis
Шадурскис, Карлис
Шадурскис, Карлис
305087704
Kārlis Šadurskis
Kārlis Šadurskis
0000 0004 1707 089X
000142340
Kārlis Šadurskis
Kārlis Šadurskis
111033
politician
Q16363836
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
Māris Dzelzskalns
https://upload.wikimedia.org/wikipedia/commons/4/4f/Flickr_-_Saeima_-_10.Saeimas_deputāts_Māris_Dzelzkalns.jpg
male
1973-01-06
Māris Dzelzskalns
Māris
politician

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (291 KB) Use the API

rows 10 / 182

id last_seen
Q16350881
2016-06-05
Q11119664
2016-06-05
Q9374035
2016-06-05
Q9368990
2016-06-05
Q11702908
2016-06-05
Q465725
2016-06-05
Q9368835
2016-06-05
Q15912476
2016-06-05
Q11731917
2016-06-05
Q4210266
2016-06-05

Statistics

Average successful run time: 2 minutes

Total run time: 2 days

Total cpu time used: about 1 hour

Total disk space used: 331 KB

History

  • Auto ran revision 934b6455 and completed successfully .
    208 records updated in the database
    32 pages scraped
  • Auto ran revision 934b6455 and failed .
    nothing changed in the database
  • Auto ran revision 934b6455 and failed .
    nothing changed in the database
  • Auto ran revision 934b6455 and failed .
    nothing changed in the database
  • Auto ran revision 934b6455 and failed .
    nothing changed in the database
  • ...
  • Created on morph.io

Show complete history

Scraper code

Ruby

latvia-saeima-wikidata / scraper.rb