Feartan Scraper Lìn - Eòlaiche Semalt

'S e leudachadh brabhsair Chrome a tha ag amas air dàta a tharraing bho dhuilleagan lìn S an Iar- Leis an leudachadh seo, faodaidh tu mapa-làraich no plana a chruthachadh, a tha a 'sealltainn an dòigh as freagarraiche airson seòladh a dhèanamh air làrach agus a bhith a' toirt fiosrachadh às.

A 'leantainn air a' mhapa-làraich agad, thèid Sgrathar-lìn a stiùireadh air duilleag làrach an tobair às deidh an duilleag agus an susbaint riatanach a sgrìobadh. Faodar dàta air a thoirt a-mach mar CSV no cruthan eile - sweat kinderstoff. A thuilleadh air, faodar an leudachadh seo a stàladh bho Chrome Store gun duilgheadas sam bith.

Tha cuid de na feartan aig Scratair-lìn air am mìneachadh gu h-ìosal gu h-ìosal

• Comas air iomadh duilleag a sgioblachadh

Tha an comas aig an inneal dàta a tharraing à grunnan duilleagan lìn aig an aon àm ma tha e air a chomharrachadh anns a 'mhapa-làraich. Ma dh'fheumas tu na h-ìomhaighean uile a tharraing bho làrach-lìn 100-paged, is dòcha gum bi e a 'toirt ùine dhut a bhith a' sgrùdadh gach aon de na duilleagan agus gum bi fios agad cò na dealbhan a th 'ann agus nach dèan feadhainn dhiubh. Mar sin, faodaidh tu an inneal a threòrachadh gus sùil a thoirt air gach duilleag airson ìomhaighean.

• Bidh an t-inneal a 'stòradh dàta ann an CouchDB no stòradh ionadail a' bhrabhsair
• Bidh an t-inneal a 'stòradh làraich-lìn agus a' toirt às dàta ann an stòradh an t-sealladair no CouchDB
• iomad dàta

Bho is urrainn dhan inneal obrachadh le iomadh seòrsa data, faodaidh luchd-cleachdaidh iomadh seòrsa data a thaghadh airson a bhith air a tharraing air an aon duilleig. Mar eisimpleir, faodaidh e an dà ìomhaigh agus an teacsa a sgrios bho dhuilleagan lìn aig an aon àm.

• Tha sgrìobadh dàta bho dhuilleagan fiùghantach

Lìonadair lìn cho cumhachdach is urrainn dha dàta a bhriseadh eadhon bho dhuilleagan adhartach mar Ajax agus JavaScript.

• Comas sealladh air dàta a chaidh a thoirt a-mach

Tha an inneal a 'leigeil le luchd-cleachdaidh sùil a thoirt air dàta air an sgrìobadh eadhon mus tèid a shàbhaladh san àite ainmichte

• Tha e a 'toirt a-mach dàta a chaidh a thoirt a-mach mar CSV

Tha às-mhalairt Sgrathan-lìn air a thionndadh mar CSV mar as trice, ach faodaidh e cuideachd a reic ann an cruthan eile. )

• Àrachas agus in-mhalairt mapaichean mapa

Dh'fhaoidte gum feum thu mapaichean-lìn iomadh uair a chleachdadh gus an urrainn don inneal malairt-làraich a thoirt a-steach agus a thoirt a-mach ma thèid iarraidh.

• Brabhsair Chrome a-mhàin

Gu mì-fhortanach, is e droch rud a tha seo a tha na bhuannachd. Tha e ag obair a-mhàin le brabhsair Chrome.

Innealan sgrìobadh dàta eile

Tha beagan sìmplidh

1. Scrapy

Faodar am frèam seo a chleachdadh airson a sgioblachadh gu lèir.

2. Wget

Faodaidh tu cuideachd Wget a chleachdadh gu sc èiginn, làrach-lìn gu lèir gu furasta. Ach tha beagan mì-bhuannachd ann leis an inneal seo, chan urrainn dha faidhlichean CSS a mharsadh.

3. Faodaidh tu cuideachd an t-òrdugh a leanas a chleachdadh gus susbaint na làraich-lìn agad a bhriseadh mus toir e air falbh e:

(85 ) file_put_contents ('/ some / directory / scrape_content.html', file_get_contents ('https://google.com')) ;.