'S e leudachadh brabhsair Chrome a tha ag amas air dàta a tharraing bho dhuilleagan lìn S an Iar- Leis an leudachadh seo, faodaidh tu mapa-làraich no plana a chruthachadh, a tha a 'sealltainn an dòigh as freagarraiche airson seòladh a dhèanamh air làrach agus a bhith a' toirt fiosrachadh às.
A 'leantainn air a' mhapa-làraich agad, thèid Sgrathar-lìn a stiùireadh air duilleag làrach an tobair às deidh an duilleag agus an susbaint riatanach a sgrìobadh. Faodar dàta air a thoirt a-mach mar CSV no cruthan eile - rvs desktop appraisal. A thuilleadh air, faodar an leudachadh seo a stàladh bho Chrome Store gun duilgheadas sam bith.
Tha cuid de na feartan aig Scratair-lìn air am mìneachadh gu h-ìosal gu h-ìosal
- Comas air iomadh duilleag a sgioblachadh
Tha an comas aig an inneal dàta a tharraing à grunnan duilleagan lìn aig an aon àm ma tha e air a chomharrachadh anns a 'mhapa-làraich. Ma dh'fheumas tu na h-ìomhaighean uile a tharraing bho làrach-lìn 100-paged, is dòcha gum bi e a 'toirt ùine dhut a bhith a' sgrùdadh gach aon de na duilleagan agus gum bi fios agad cò na dealbhan a th 'ann agus nach dèan feadhainn dhiubh. Mar sin, faodaidh tu an inneal a threòrachadh gus sùil a thoirt air gach duilleag airson ìomhaighean.
- Bidh an t-inneal a 'stòradh dàta ann an CouchDB no stòradh ionadail a' bhrabhsair
- Bidh an t-inneal a 'stòradh làraich-lìn agus a' toirt às dàta ann an stòradh an t-sealladair no CouchDB
- iomad dàta
Bho is urrainn dhan inneal obrachadh le iomadh seòrsa data, faodaidh luchd-cleachdaidh iomadh seòrsa data a thaghadh airson a bhith air a tharraing air an aon duilleig. Mar eisimpleir, faodaidh e an dà ìomhaigh agus an teacsa a sgrios bho dhuilleagan lìn aig an aon àm.
- Tha sgrìobadh dàta bho dhuilleagan fiùghantach
Lìonadair lìn cho cumhachdach is urrainn dha dàta a bhriseadh eadhon bho dhuilleagan adhartach mar Ajax agus JavaScript.
- Comas sealladh air dàta a chaidh a thoirt a-mach
Tha an inneal a 'leigeil le luchd-cleachdaidh sùil a thoirt air dàta air an sgrìobadh eadhon mus tèid a shàbhaladh san àite ainmichte
- Tha e a 'toirt a-mach dàta a chaidh a thoirt a-mach mar CSV
Tha às-mhalairt Sgrathan-lìn air a thionndadh mar CSV mar as trice, ach faodaidh e cuideachd a reic ann an cruthan eile. )
- Àrachas agus in-mhalairt mapaichean mapa
Dh'fhaoidte gum feum thu mapaichean-lìn iomadh uair a chleachdadh gus an urrainn don inneal malairt-làraich a thoirt a-steach agus a thoirt a-mach ma thèid iarraidh.
Gu mì-fhortanach, is e droch rud a tha seo a tha na bhuannachd. Tha e ag obair a-mhàin le brabhsair Chrome.
Innealan sgrìobadh dàta eile
Tha beagan sìmplidh
1. Scrapy
Faodar am frèam seo a chleachdadh airson a sgioblachadh gu lèir.
2. Wget
. Tha an t-susbaint seo a 'toirt a-steach an t-susbaint seo. )
Faodaidh tu cuideachd Wget a chleachdadh gu sc èiginn, làrach-lìn gu lèir gu furasta. Ach tha beagan mì-bhuannachd ann leis an inneal seo, chan urrainn dha faidhlichean CSS a mharsadh.
3. Faodaidh tu cuideachd an t-òrdugh a leanas a chleachdadh gus susbaint na làraich-lìn agad a bhriseadh mus toir e air falbh e:
(85 ) file_put_contents ('/ some / directory / scrape_content.html', file_get_contents ('https://google.com')) ;.