SidorenkovIvan / node-scrap

Scraper for tea4u.by


node-scrap

Scraper for tea4u.by

Contributors SidorenkovIvan papano

Last run completed successfully .

Console output of last run

Injecting configuration and compiling...  -----> Node.js app detected  -----> Creating runtime environment   NPM_CONFIG_LOGLEVEL=error  NPM_CONFIG_PRODUCTION=true  NPM_CONFIG_CAFILE=/etc/ssl/certs/ca-certificates.crt  NODE_VERBOSE=false  NODE_ENV=production  NODE_TLS_REJECT_UNAUTHORIZED=0  NODE_MODULES_CACHE=true  -----> Installing binaries  engines.node (package.json): unspecified  engines.npm (package.json): unspecified (use default)   Resolving node version 6.x...  Downloading and installing node 6.17.1...  Using default npm version: 3.10.10  -----> Restoring cache  Skipping cache restore (not-found)  -----> Building dependencies  Installing node modules (package.json)   > sqlite3@4.1.1 install /tmp/build/node_modules/sqlite3  > node-pre-gyp install --fallback-to-build   [sqlite3] Success: "/tmp/build/node_modules/sqlite3/lib/binding/node-v48-linux-x64/node_sqlite3.node" is installed via remote  node-scrap@1.0.0 /tmp/build  +-- UNMET PEER DEPENDENCY canvas@^2.5.0  +-- chalk@3.0.0  | +-- ansi-styles@4.2.1  | | +-- @types/color-name@1.1.1  | | `-- color-convert@2.0.1  | | `-- color-name@1.1.4  | `-- supports-color@7.1.0  | `-- has-flag@4.0.0  +-- cheerio@1.0.0-rc.3  | +-- css-select@1.2.0  | | +-- boolbase@1.0.0  | | +-- css-what@2.1.3  | | +-- domutils@1.5.1  | | `-- nth-check@1.0.2  | +-- dom-serializer@0.1.1  | | `-- domelementtype@1.3.1  | +-- entities@1.1.2  | +-- htmlparser2@3.10.1  | | +-- domhandler@2.4.2  | | +-- inherits@2.0.4  | | `-- readable-stream@3.6.0  | | +-- string_decoder@1.3.0  | | `-- util-deprecate@1.0.2  | +-- lodash@4.17.15  | `-- parse5@3.0.3  | `-- @types/node@13.9.5  +-- http@0.0.0  +-- iconv-lite@0.5.1  | `-- safer-buffer@2.1.2  +-- jsdom@16.2.1  | +-- abab@2.0.3  | +-- acorn@7.1.1  | +-- acorn-globals@6.0.0  | | `-- acorn-walk@7.1.1  | +-- UNMET PEER DEPENDENCY bufferutil@^4.0.1  | +-- cssom@0.4.4  | +-- cssstyle@2.2.0  | | `-- cssom@0.3.8  | +-- data-urls@2.0.0  | +-- decimal.js@10.2.0  | +-- domexception@2.0.1  | +-- escodegen@1.14.1  | | +-- esprima@4.0.1  | | +-- estraverse@4.3.0  | | +-- esutils@2.0.3  | | +-- optionator@0.8.3  | | | +-- deep-is@0.1.3  | | | +-- fast-levenshtein@2.0.6  | | | +-- levn@0.3.0  | | | +-- prelude-ls@1.1.2  | | | +-- type-check@0.3.2  | | | `-- word-wrap@1.2.3  | | `-- source-map@0.6.1  | +-- html-encoding-sniffer@2.0.1  | +-- is-potential-custom-element-name@1.0.0  | +-- nwsapi@2.2.0  | +-- parse5@5.1.1  | +-- request-promise-native@1.0.8  | | +-- request-promise-core@1.1.3  | | +-- stealthy-require@1.1.1  | | `-- tough-cookie@2.5.0  | +-- saxes@5.0.0  | | `-- xmlchars@2.2.0  | +-- symbol-tree@3.2.4  | +-- tough-cookie@3.0.1  | | +-- ip-regex@2.1.0  | | +-- psl@1.8.0  | | `-- punycode@2.1.1  | +-- UNMET PEER DEPENDENCY utf-8-validate@^5.0.2  | +-- w3c-hr-time@1.0.2  | | `-- browser-process-hrtime@1.0.0  | +-- w3c-xmlserializer@2.0.0  | +-- webidl-conversions@5.0.0  | +-- whatwg-encoding@1.0.5  | | `-- iconv-lite@0.4.24  | +-- whatwg-mimetype@2.3.0  | +-- whatwg-url@8.0.0  | | +-- lodash.sortby@4.7.0  | | `-- tr46@2.0.2  | +-- ws@7.2.3  | `-- xml-name-validator@3.0.0  +-- needle@2.3.3  | +-- debug@3.2.6  | | `-- ms@2.1.2  | +-- iconv-lite@0.4.24  | `-- sax@1.2.4  +-- request@2.88.2  | +-- aws-sign2@0.7.0  | +-- aws4@1.9.1  | +-- caseless@0.12.0  | +-- combined-stream@1.0.8  | | `-- delayed-stream@1.0.0  | +-- extend@3.0.2  | +-- forever-agent@0.6.1  | +-- form-data@2.3.3  | | `-- asynckit@0.4.0  | +-- har-validator@5.1.3  | | +-- ajv@6.12.0  | | | +-- fast-deep-equal@3.1.1  | | | +-- fast-json-stable-stringify@2.1.0  | | | +-- json-schema-traverse@0.4.1  | | | `-- uri-js@4.2.2  | | `-- har-schema@2.0.0  | +-- http-signature@1.2.0  | | +-- assert-plus@1.0.0  | | +-- jsprim@1.4.1  | | | +-- extsprintf@1.3.0  | | | +-- json-schema@0.2.3  | | | `-- verror@1.10.0  | | | `-- core-util-is@1.0.2  | | `-- sshpk@1.16.1  | | +-- asn1@0.2.4  | | +-- bcrypt-pbkdf@1.0.2  | | +-- dashdash@1.14.1  | | +-- ecc-jsbn@0.1.2  | | +-- getpass@0.1.7  | | +-- jsbn@0.1.1  | | `-- tweetnacl@0.14.5  | +-- is-typedarray@1.0.0  | +-- isstream@0.1.2  | +-- json-stringify-safe@5.0.1  | +-- mime-types@2.1.26  | | `-- mime-db@1.43.0  | +-- oauth-sign@0.9.0  | +-- performance-now@2.1.0  | +-- qs@6.5.2  | +-- safe-buffer@5.2.0  | +-- tough-cookie@2.5.0  | +-- tunnel-agent@0.6.0  | `-- uuid@3.4.0  +-- sqlite3@4.1.1  | +-- nan@2.14.0  | `-- node-pre-gyp@0.11.0  | +-- detect-libc@1.0.3  | +-- mkdirp@0.5.4  | | `-- minimist@1.2.5  | +-- nopt@4.0.3  | | +-- abbrev@1.1.1  | | `-- osenv@0.1.5  | | +-- os-homedir@1.0.2  | | `-- os-tmpdir@1.0.2  | +-- npm-packlist@1.4.8  | | +-- ignore-walk@3.0.3  | | | `-- minimatch@3.0.4  | | | `-- brace-expansion@1.1.11  | | | +-- balanced-match@1.0.0  | | | `-- concat-map@0.0.1  | | +-- npm-bundled@1.1.1  | | `-- npm-normalize-package-bin@1.0.1  | +-- npmlog@4.1.2  | | +-- are-we-there-yet@1.1.5  | | | +-- delegates@1.0.0  | | | `-- readable-stream@2.3.7  | | | +-- isarray@1.0.0  | | | +-- process-nextick-args@2.0.1  | | | +-- safe-buffer@5.1.2  | | | `-- string_decoder@1.1.1  | | +-- console-control-strings@1.1.0  | | +-- gauge@2.7.4  | | | +-- aproba@1.2.0  | | | +-- has-unicode@2.0.1  | | | +-- object-assign@4.1.1  | | | +-- signal-exit@3.0.3  | | | +-- string-width@1.0.2  | | | | +-- code-point-at@1.1.0  | | | | `-- is-fullwidth-code-point@1.0.0  | | | | `-- number-is-nan@1.0.1  | | | +-- strip-ansi@3.0.1  | | | | `-- ansi-regex@2.1.1  | | | `-- wide-align@1.1.3  | | `-- set-blocking@2.0.0  | +-- rc@1.2.8  | | +-- deep-extend@0.6.0  | | +-- ini@1.3.5  | | `-- strip-json-comments@2.0.1  | +-- rimraf@2.7.1  | | `-- glob@7.1.6  | | +-- fs.realpath@1.0.0  | | +-- inflight@1.0.6  | | | `-- wrappy@1.0.2  | | +-- once@1.4.0  | | `-- path-is-absolute@1.0.1  | +-- semver@5.7.1  | `-- tar@4.4.13  | +-- chownr@1.1.4  | +-- fs-minipass@1.2.7  | +-- minipass@2.9.0  | +-- minizlib@1.3.3  | `-- yallist@3.1.1  `-- tress@1.1.4  +-- easytype@1.0.1  `-- hard-prop@1.0.1   -----> Caching build  Clearing previous node cache  Saving 2 cacheDirectories (default):  - node_modules  - bower_components (nothing to cache)  -----> Build succeeded!  ! Unmet dependencies don't fail npm install but may cause runtime issues  https://github.com/npm/npm/issues/7494   -----> Discovering process types  Procfile declares types -> scraper Injecting scraper and running... S01735 S01014 S01018 XFG4398 S01006 3505K2 A11001 XFG4355 5011K1 65372K7 S01505_1 A13501 A13157 A13156 S02643 A13503 S02712 A13117 SET-05 S01510 S01735 52141 A15005 52213-1 5020K1 1091K1 S01389 5107K5 0018K2 52066-1 S01308 S01316 S01309 S01360 XFT494 5107K5 0000K3 SET-01 35015 0001K2 0000K3 S01510 CH01-02 5041K7 CH01-05 S03042 S03566 S03051 S01472 A12001 5100EK4 S02900 S02226 SET-05 CH4523 S01407 0189K1 S01441 A13507 A13116 A13121 52213-1 52300 S02650 S02648 S02649 S02645 S02849 S01810 S01875 S01905 SET-02 SET-03 S01837 S01908 200008 03881 A30210 A01012 003850-1-2 A40535 A40537 A80204 A711 A80130 SET-01 SET-02 SET-03 SET-05 SET-03 0156K5 S01924 S01626 XFG4438 S01037 A13154 A13158 S02644 S01576 S02572 XF7852 S02565 S02562 S02824 S01548 S01336 CH01-02 S01593 S02617 52294 FR0003K7 A13149 A60208 A60207 A60406

Data

Downloaded 32 times by SidorenkovIvan

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (164 KB) Use the API

rows 10 / 15

category_id title url
1
Зелёный чай
2
Улун
3
Габа улун
4
Пуэр
5
Шу пуэр
6
Шен пуэр
7
Красный
8
Белый
9
Матча, этнический чай
10
Ароматизированный

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (164 KB) Use the API

rows 10 / 103

product_id imgUrl productTitle productUrl description images code
1
Жасминовая жемчужина дракона (Хуа Лун Чжу) 1 категории
Белый чай Хуа Лун Чжу традиционно выращивают в провинции Фуцзянь. Делают его ранней весной — чайный лист обрабатывают по технологии белого чая, сворачивают в маленькие жемчужинки и высушивают. К июлю, когда начинает цвести жасмин, чай ароматизируют свежими цветами жасмина. Обычно проходит 3-4 цикла ароматизации.Отличается особенно мягким, нежным вкусом, даже при долгом заваривании настой не становится терпким. Жасмин придаёт чаю неповторимый аромат и особенный вкус. Экономичный сорт, можно заваривать много раз.
https://tea4u.by/image/cache/catalog/goods/S01735/IMG_9115-1500x1000.jpg|https://tea4u.by/image/cache/catalog/goods/S01735/IMG_9118-1500x1000.jpg
S01735
2
Бай Мао Хоу (Беловолосая обезьяна)
Зелёный чай из провинции Фуцзянь. Название произошло от исторического места производства этого чая — уезда ЧженХэ — «края диких обезьян». Более того, форма чайного листа в обработанном виде похожа на покрытый белым ворсом хвост обезьянки. Сырьё для этого чая собирают в середине весны, отбирая только 2-3 молодых листочка с почкой, покрытые белым пушком. Сохраняется белый ворс благодаря сочетанию технологических особенностей изготовления зелёного и белого чаёв, за что Бай Мао Хоу на его родине часто называют бело-зелёным.Аромат сухой заварки сладко-фруктовый, с лёгкой свежестью на излёте. Настой насыщенный, цвета слоновой кости. Сладко-фруктовый аромат. Вкус лёгкий, сбалансированный и гармоничный, с фруктовой ноткой и легкой терпкостью. Богат антиоксидантами, омолаживающими организм, и помогает пищеварению. Хорошо бодрит и утоляет жажду.
https://tea4u.by/image/cache/catalog/goods/S01014/IMG_9970-1500x1000.jpg|https://tea4u.by/image/cache/catalog/goods/S01014/IMG_9975-1500x1000.jpg|https://tea4u.by/image/cache/catalog/goods/S01014/IMG_9973-1500x1000.jpg
S01014
3
Би Ло Чунь (Изумрудные Спирали Весны)
Зелёный весенний чай из провинции Цзянсу. По праву носит титул «Знаменитый чай Китая». Чайные плантации располагаются в горах Дунтиншань вокруг озера Тайху, Би Ло Чунь впитал в себя все целебные свойства горного воздуха и чистых обильных дождей.Аромат сухого чая яркий, фруктовый, с нотками свежей зелени. Вкус яркий и медовый, с оттенками фруктов и цветов. 
https://tea4u.by/image/cache/catalog/goods/S01018/IMG_0126-1500x1000.jpg|https://tea4u.by/image/cache/catalog/goods/S01018/IMG_0128-1500x1000.jpg
S01018
4
Ганпаудер (крупный лист)
Скрученный зелёный чай из провинции Чжецзян, входит в группу классических представителей зелёных сортов чая. Обладает сильными тонизирующими свойствами и всеми полезными свойствами зелёных чаев - улучшает обмен веществ, укрепляет иммунитет, благотворно влияет на сердечно-сосудистую систему. Настой насыщенный, жёлтого цвета, с ярким ароматом с ягодными нотами и крепким вкусом.
https://tea4u.by/image/cache/catalog/goods/S01006/IMG_0157-1500x1000.jpg|https://tea4u.by/image/cache/catalog/goods/S01006/IMG_0155-1500x1000.jpg
S01006
5
Ганпаудер Высший сорт
Чай Ганпаудер (Порох) входит в группу классических представителей зелёных сортов чая. В горных долинах, где произрастает чайный лист этого сорта, природой был создан уникальный микроклимат, что благотворно влияет на качество самого чая.Аромат чая с нотами мёда и трав. Вкус сладкий, терпкий с нотами орхидеи и пряными оттенками. Этот чай придаст вам заряд бодрости и сил на весь день. Послевкусие долгое, освежающее. 
https://tea4u.by/image/cache/catalog/goods/32020/IMG_5956-1500x1000.jpg|https://tea4u.by/image/cache/catalog/goods/32020/IMG_5948-1500x1000.jpg
3505K2
6
Дянь Люй (Зелёный Юньнань)
Классический зеленый юньнаньский чай, который обладает ярким ароматом и вкусом. Аромат абрикоса и послевкусие сухофруктов создают ощущение весны. Очень богатый букет, несвойственный зеленому классическому чаю в данном ценовом диапазоне. Вкус нежный, без терпкости и горечи.
https://tea4u.by/image/cache/catalog/goods/XFG4398/IMG_0356-1500x1000.jpg|https://tea4u.by/image/cache/catalog/goods/XFG4398/IMG_0355-1500x1000.jpg
XFG4398
7
Жасминовый чай №1
Роскошный зелёный жасминовый чай из китайской провинции Гуанси. Его настой обладает маслянистым, немного терпким вкусом с явными нотами меда и свежей зелени. Подачу настоя сопровождает богатый оттенками аромат, в котором четко слышатся запахи цветов и спелых ягод. Отличный антидепрессант и иммуномодулятор.
https://tea4u.by/image/cache/catalog/goods/A11001/IMG_0476-1500x1000.jpg|https://tea4u.by/image/cache/catalog/goods/A11001/IMG_0474-1500x1000.jpg
A11001
8
Зелёная Улитка
Приятный освежающий зеленый чай, с легкой терпкостью и довольно мягким вкусом. Отсутствует копченость, присущая Ганпаудерам. Рекомендуется заваривать проливом, чтобы избежать излишнего перенасыщения во вкусе.
https://tea4u.by/image/cache/catalog/goods/XFG4355/IMG_0376-1500x1000.jpg|https://tea4u.by/image/cache/catalog/goods/XFG4355/IMG_0372-1500x1000.jpg
XFG4355
9
Моли Фэн Янь (Жасминовый Глаз Феникса)
Юньнаньский элитный зелёный чай, ароматизированный высококачественным жасмином. Один из знаменитых жасминовых чаев Китая, внешне напоминающий глаз птицы Феникс. При заваривании  дает прозрачный настой золотисто-зелёного цвета с насыщенным, сладким вкусом и стойким послевкусием. Можно заваривать несколько раз.
https://tea4u.by/image/cache/catalog/goods/5011K1/IMG_8464-1500x1000.jpg|https://tea4u.by/image/cache/catalog/goods/5011K1/IMG_8461-1500x1000.jpg
5011K1
10
Моли Хуа Ча (Жасминовый) Высшей Категории
Изысканный традиционный китайский чай, ароматизированный высококачественным жасмином . Обладает неповторимым сладковатым вкусом, нежным и терпким.  Аромат притягивает к себе, снимает нервное напряжение и усталость. При заваривании  дает прозрачный настой золотисто-зелёного цвета с насыщенным вкусом и стойким послевкусием. Можно заваривать несколько раз.
https://tea4u.by/image/cache/catalog/goods/65372K7/IMG_9467-1500x1000.jpg|https://tea4u.by/image/cache/catalog/goods/65372K7/IMG_9466-1500x1000.jpg
65372K7

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (164 KB) Use the API

rows 10 / 115

category_id product_id
11
37
8
21
6
98
6
57
14
70
1
1
8
1
1
2
1
3
1
4

Statistics

Average successful run time: 1 minute

Total run time: 36 minutes

Total cpu time used: half a minute

Total disk space used: 273 KB

History

  • Auto ran revision ff5f5503 and completed successfully .
    169 records updated in the database
  • Auto ran revision ff5f5503 and completed successfully .
    190 records updated in the database
  • Manually ran revision 37b0812f and completed successfully .
    180 records updated in the database
  • Manually ran revision 37b0812f and failed .
    233 records added in the database
  • Created on morph.io

Scraper code

Node.js

node-scrap / scraper.js