Web Scraping and OSINT Engine in Rust | Dweve Winnow

Grúpaíonn halgartaim de réir chineál sonraí

Cuardach, suímh, APIanna, beathaí, comhaid

Polasaí amháin agus taifead reatha amháin

Torthaí clóscríofa don chéad chóras eile

Rialacha foinsí forfheidhmithe ar fud an bhealaigh

Do fhreastalaithe féin, réigiún AE, nó iargúlta

CLI, crate Rust, seirbhís, agus WebAssembly

Rialachas eolais thar fhoinsí bailithe Winnow.

Innigh sonraí bailithe le haghaidh aisghabháil thapa.

Déan aschur Winnow a pharsáil ina chrainn atá ábhar-seoltaithe.

Tosaigh le ceist athfhillteach amháin. Déanann Winnow ceist den sórt sin a iompú ina chonair ainmnithe le foinsí sainráite, rialacha comhroinnte iarrata, aschur clóscríofa, agus taifead reatha ar féidir leis an gcéad chóras eile iniúchadh a dhéanamh air.

Ní an fhoinse an lárionad. Is í an cheist

Thar 66 chatagóir. Chomh maith le 28 innill, 325 bailitheoirí.

Níl aon spleáchais runtime ag Core. Is roghnach é an brabhsálaí folaitheach, Python.

Taifeadann bileog an tionscadail cad a sheoltar: dénártha dlúth Rust, catalóg na scríobairí agus na mbailitheoirí, formáidí aschuir, rialuithe iarrata, ceangail teanga, agus na ceithre dhromchla chomhtháthaithe a úsáideann an chuid eile den chruach.

TLS, fianáin, teorainneacha ráta, seachfhreastalaithe

Parsálaí, scríobairí, iarraidh, iniúchadh

Rith Winnow mar dhénártha amháin, leabaigh é mar chrates Rust, rith é mar sheirbhís HTTP axum, nó tóg é don bhrabhsálaí agus don imeall. Oibríonn na scrabálaithe céanna agus an cruth aschuir céanna sna ceithre mhód.

Scrabálaithe réamhthógtha do na foinsí a úsáideann anailísithe cheana féin, ó thairseacha rialtais agus eolaíochta go nuacht, airgeadas, agus sonraí oscailte. Is struct Rust clóscríofa é gach scrabálaí. Tagann scrabálaithe saincheaptha isteach taobh leis na cinn réamhthógtha agus leanann siad an conradh aschuir céanna.

Cinneann an t-oibreoir an bunús dlíthiúil

In aghaidh an iarratais: foinse, URL, stampa ama, stádas, hash ábhair.

Rachtaí líonra príobháideacha blocáilte i ngach ionchur URL.

Báicéid chomharthaí in aghaidh an fhearainn meaitseáilte le polasaí doiciméadaithe gach foinse.

Diúltaigh de réir réamhshocraithe. Diúltaítear d'fhearainn neamhthaiscthe go dtí go ndéantar robots.txt a fháil.

Cuireann Winnow robots.txt i bhfeidhm le polasaí diúltaithe de réir réamhshocraithe, teorainneacha ráta in aghaidh an fhearainn, cosaint SSRF, pseudonymization GDPR, agus logáil iniúchta in aghaidh an iarratais mar shrianta dearaidh, ní mar shocruithe roghnacha. Cad a thiteann lasmuigh de smacht Winnow: bunús dlíthiúil an oibreora chun sonraí a bhailiú, roghanna íoslaghdaithe sonraí, agus cinntí coinneála iartheachtacha. Ní éilíonn an leathanach seo deimhniú GDPR mar ní féidir le leabharlann an cinneadh sin a dhéanamh ar do shon.

téacs, JSON, JSONL, CSV, nó HTML. Cairdiúil do phíopaí.

Roghnaitheoirí CSS a bhaineann réimsí clóscríofa as an DOM.

HTTP plain ar dtús, ansin HTTP stealth, ansin brabhsálaí amháin má tá sé blocáilte.

28 innill chuardaigh ceistithe go comhthreomhar, torthaí comhcheangailte agus rangaithe.

Trí cheithre chéim a thiontaítear ceist amháin ina thaifid struchtúrtha. Fiosraíonn Fionnachtain 28 inneall go comhthreomhar. Déanann Aisghabháil scálú ó HTTP simplí go hiarratais le méarlorg TLS go brabhsálaí folaitheach, ach amháin nuair a chuireann suíomh bac go gníomhach. Ritheann Páirseáil scrioptóirí clóscríofa thar an DOM. Scríobhann Aschur ceann de chúig fhormáid go stdout.

Tá a API, a chótaí agus a fhillteán féin ag gach inneall cuardaigh.

Cuireann seirbhísí rothlaithe billeáil ar leith agus éagsúlacht cháilíochta IP leis.

Cuireann Selenium nó Playwright dromchla oibríochta ar leith agus costas acmhainne leis.

Cód leochaileach in aghaidh an tsuímh a bhriseann go ciúin nuair a athraíonn marcáil.

Comhcheanglaíonn an chuid is mó de chruacha bailithe sonraí scrioptóirí, brabhsálaithe gan cheann, seirbhísí seachfhreastalaí, fillteáin chuardaigh, agus scripteanna cothabhála saincheaptha. Éiríonn an ciseal gliú mar an tionscadal. Tá a dhromchla oibríochta féin, a mhúnla billeála féin, agus a bhoinn tuisceana béasachta féin ag gach uirlis.

níor cheart go mbeadh cúig uirlis i gceist

Sábháilteacht ar siúl de réir réamhshocraithe

Fanann bunús dlíthiúil, íoslaghdú, agus coimeád leatsa. Taifeadann Winnow an cinneadh sin; ní dhéanann sé é ar do shon.

Déantar gach iarratas a logáil le foinse, seoladh, am, agus toradh.

Is féidir aitheantóirí a dhí-aithniú de réir mar a bhailítear sonraí, gan iad a iompar amh.

Cuirtear polasaí róbónna agus teorainneacha ráta in aghaidh an fhearainn i bhfeidhm ón gcéad iarratas.

Tá rioscaí fíor i gceist le sonraí gréasáin a bhailiú: bac a fháil, sonraí pearsanta a láimhseáil, iarratais ag sroicheadh seoltaí neamhshábháilte, agus gan aon taifead a bheith agat ar a dtarlaíonn. Láimhseálann Winnow gach ceann díobh seo ón tús, le rialacha béasachta, dí-aithniú, cosaint ar chinn scríbe neamhshábháilte, agus logáil in aghaidh an iarratais. Rud nach ndéanann sé ná ligean air go ndéanann sé do chinntí dlíthiúla. Is leatsa an bunús dlíthiúil, an méid a choinníonn tú, agus an fad a choinníonn tú é, agus ní dhéanaimid aon éileamh deimhnithe nach féidir le leabharlann a dhéanamh go hionraic.

Ciallaíonn an cruach a fhilleadh in aon dhénártha amháin rud amháin le foghlaim, le rith, agus le paisteáil, in ionad cúig cinn móide a seams.

Ídíonn scrioptóirí leochaileacha in aghaidh an tsuímh agus na scripteanna gliú a choinníonn an cruach le chéile am innealtóra go ciúin mí i ndiaidh míosa.

Gearrtar táille ar rothlú seachfhreastalaí agus ar chótaí cuardaigh de réir úsáide. Níl aon bhille tráchta iontais ag dénártha féin-óstáilte ar bhonneagar a bhfuil tú ag íoc as cheana féin.

De ghnáth ilroinneann cruach bailithe trasna scríobadóirí atá sainiúil don suíomh, uathoibriú brabhsálaí, láimhseáil seachvóirí, nascóirí cuardaigh, agus gliúchód. Comhordaíonn Winnow na codanna gluaisteacha sin faoi bheartas reatha amháin, ionas gur féidir le hoibríochtaí bealach amháin a dheisiú, taifead amháin a bhreathnú, agus ceist amháin a athrá.

bíodh sé ina bhealach cothabháilte amháin

Fanann ionchuir, uainiú, cinntí, agus torthaí ar fáil le haghaidh athrá agus athbhreithnithe.

Tá rialacha pharsála, ainmfhíorúcháin, normalaithe, agus aschuir follasach.

Taistealaíonn teorainneacha ráta, polasaí robots, athiarratais, agus cosaint seoltaí neamhshábháilte leis an mbealach.

Ainmnítear gach inneall cuardaigh, suíomh, API, beatha, agus comhad sa rith.

Níor cheart go n-iompródh post bailithe athfhillteach é féin mar chúig script neamhghaolmhara. Tugann Winnow bealach roinnte amháin d'fhionnachtain, feitheadóireacht, pharsáil, normalú, aschur, agus taifead an rith, agus fanann imscaradh mar rogha oibríochtúil ar leith.

Astúigh JSON, CSV, sruthanna, taifid stóráilte, nó an cruth freagartha a bhfuil d'ionchais ag súil leis.

Roinneann fionnachtain, feitheadóireacht, pharsáil, agus aschur polasaí amháin agus taifead rith amháin.

Is féidir le hinnill chuardaigh, suíomhanna gréasáin, APIanna, beathaí, agus comhaid dul isteach sa rith céanna.

Tosaíonn Winnow le ceist, socraíonn sé cé na dromchlaí foinse a bhaineann leis an rith, aimsíonn sé iarrthóirí, feitheann sé go béasach iad, pharsálann sé an t-ábhar úsáideach, agus astaíonn sé torthaí clóscríofa. Taifeadtar an bealach ionas gur féidir an obair chéanna a athrá agus a athbhreithniú.

Scríobhann sé síos cad a thug sé cuairt air, ionas go mbeidh an freagra ann cheana féin má iarrann aon duine é.

Is féidir leis rith go hiomlán laistigh den Eoraip, ar mheaisíní a bhfuil muinín agat astu.

Leanann sé na rialacha a leagann gach suíomh gréasáin agus fanann sé lena sheal.

Coinníonn gach toradh a nótaí foinse agus bealach bailithe, ionas gur féidir leis an tseirbhís a thaispeáint cá as a tháinig an fhaisnéis.

Is iad na chéad cheisteanna ciallmhara: an bhféadfadh sé seo trioblóid a chruthú, cá dtéann m'fhaisnéis, agus conas is féidir liom a fheiceáil cad a rinne sé? Seo na freagraí soiléire. Tá cúram agus oscailteacht tógtha isteach i Winnow ón tús, ní díolta mar bhreisíní iad.

Is comhad beag é an liosta is féidir leat a shábháil agus filleadh air, ní rud a imíonn as radharc.

Deir gach líne cá as a tháinig sé, ionas gur féidir leat féachaint ar an bhfoinse féin i gcónaí.

Glantar an tranglam ar shiúl. Feiceann tú na codanna úsáideacha a d'iarr tú agus cá as a tháinig gach ceann acu.

In ionad carn leathanach le léamh, gheobhaidh tú liosta soiléir amháin le líne do gach mír agus nóta ag taispeáint cá as a tháinig sé. Léigh é, priontáil é, nó coinnigh é. Casann sé sraith cluaisíní oscailte ina thaifead is féidir leat a sheiceáil níos déanaí.

Taispeánann gach cárta an cineál cruinn ruda a déarfá, ionas nach mbeidh tú i bhfostú riamh.

Níl aon roghchláir ná socruithe le sárú. Ní dhéanann tú ach fiafraí.

Déan cur síos ar a bhfuil uait i do chuid focal laethúil féin, cosúil le labhairt le duine.

Ní gá duit focail speisialta. Fiafraigh faoi nuacht ar ábhar, praghasanna ó chúpla siopa, fógra oifigiúil, nó amanna imeachta. Roghnaigh sampla le feiceáil conas a d'fhéadfá fiafraí agus cén cineál freagra eagraithe a d'fhéadfadh teacht ar ais.

Tagann liosta néata ar ais, ar an mbealach a liostaíonn admháil shlachtmhar cad a cheannaigh tú.