Winnow agus bailiú foinsí gan praiseach scrabhála
Ní hé an carn leathanach an táirge
Tá cineál áirithe tionscadail AI ann a thosaíonn le díograis agus a chríochnaíonn le fillteán darb ainm scrape-final-2-real-final. Teastaíonn bonn ón bhfoireann. Deir duine éigin gur cheart dúinn foinsí a bhailiú. Faigheann duine eile crawler. Seachtain ina dhiaidh sin tá na mílte comhad ann, trí CSV, leabhar nótaí nach ritheann ach ar ríomhaire glúine amháin, agus géarchéim bheag mhorálta faoi cé acu ar ceadaíodh leath de na foinsí a bhailiú ar an gcéad dul síos.
Is é an tragóid ná go raibh dea-intinn ag gach duine. Níor chuir an fhoireann amach chun portaigh sonraí a thógáil. Bhí freagraí níos fearr uathu. Bhí siad ag iarraidh go ndéanfadh an tsamhail ábhar iarbhír a lua. Bhí siad ag iarraidh go stopfadh an córas ag fuaimniú cosúil le comhairleoir tar éis moille aerfoirt uimhir a ceathair. Mar sin bhailigh siad. Ansin bhailigh siad níos mó. Ansin fuair siad amach nach ionann bailiú agus foinsí a bheith agat.
Caithfidh córas bailithe foinsí ceisteanna leadránacha a fhreagairt sula dtosaíonn an obair chliste. Cé as ar tháinig sé seo? An raibh cead air? Cathain a tógadh é? Cén stádas a d'fhill an t-iarratas? Cad a bhaintear as? Cad é hash an ábhair? Cé acu bailitheoir, bealach cuardaigh, nó API a tháirg é? An féidir linn an polasaí bailithe a atáirgeadh níos déanaí? An féidir linn a thaispeáint gur cuireadh bac ar raonta príobháideacha líonra agus gur urramaíodh teorainneacha ráta? Mura bhfuil na ceisteanna sin ann, níl sa charn foinsí ach carn le fadhbanna muiníne.
Tá Winnow ann don chiseal sin nach bhfuil chomh gléineach, ach atá níos úsáidí. Is ardán bailithe sonraí Rust agus CLI/leabharlann é le haghaidh cuardaigh, scrape, crawl, bailiú API, agus aschur struchtúrtha. Déanann an chur i bhfeidhm cur síos ar aschuir téacs, JSON, JSONL, CSV, agus HTML, polasaí robots, teorainneacha ráta in aghaidh an fhearainn, cosaint SSRF, agus taifid bhailithe struchtúrtha. Sin an cineál ceart leadránach. Ní béal ocrach é an crawler. Is iontógáil rialaithe é.
Tá tábhacht leis an idirdhealú seo mar níl bonn AI níos fearr ná cosán na foinse. Is féidir le samhail mhír a lua agus a bheith gan úsáid go hoibríochtúil fós mura bhfuil a fhios ag éinne cá as ar tháinig an mhír, an raibh sí reatha, an raibh cead í a úsáid, nó an bhfaigheadh rith níos déanaí an t-ábhar céanna. Gan bhunús, níl i mbunú ach ráfla atá níos deise le breathnú air.
Is slabhra soláthair é an bailiú
Tuigeann daoine slabhraí soláthair nuair a bhíonn boscaí i gceist. Seolann soláthróir páirteanna. Bíonn uimhreacha baisc ar na páirteanna. Bíonn sonraisc, dátaí seachadta, seiceálacha cáilíochta, aisghairmeacha, iniúchtaí ann. Ní deir aon duine dáiríre go bhfuil an stóras lán, mar sin táimid críochnaithe. Le faisnéis, éiríonn foirne mistéireach go tobann. Bíonn comhaid i bhfillteán. Bíonn táblaí i loch sonraí. Bíonn smutáin i stór veicteora. Ciallaíonn sé seo rud éigin fírinne a bheith i gceist, is cosúil.
Ní dhéanann. Is slabhra soláthair é bailiú foinsí freisin. Is é an t-ábhar amh ná faisnéis sheachtrach. Tagann sé trí bhealaí le hiontaofacht, ceadanna, latency, formáidí, agus modhanna teipe éagsúla. Ní ionann torthaí cuardaigh agus taifid API. Ní ionann leathanach crawled agus gaisce cartlainne. Ní ionann easpórtáil tábla agus doiciméad HTML rindreáilte. Má chaitear le gach ceann díobh sin mar ábhar amháin, leathnaítear amach na fíricí féin a dhéanann an t-ábhar inúsáidte níos déanaí.
Is é dearcadh úsáideach Winnow ná go dtéann meiteashonraí bailithe leis an eastóscadh. Tá tábhacht le URL na foinse. Tá tábhacht leis an stampa ama. Tá tábhacht leis an stádas. Tá tábhacht le hash an ábhair. Tá tábhacht le haicme an bhailitheora. Tá tábhacht le formáid an aschuir. Ní hé an téacs a tháinig amach amháin atá sa taifead. Is é an clúdach timpeall an téacs é.
Is é an clúdach sin a chuireann ar chumas athbhreithneora níos déanaí cáilíocht an fhoinse a scaradh ó cháilíocht an mhúnla. Má tá freagra mícheart toisc gur neamhaird a rinne an múnla ar fhianaise, is teip amháin é sin. Má tá sé mícheart toisc gur tharraing an bailiúchán leathanaigh atá as dáta, is teip eile é sin. Má tá sé mícheart toisc go raibh foinse blocáilte ach gur scipeáladh go ciúin í, is teip eile é sin. Má tá sé mícheart toisc gur íoslódáil an crawler leathanach logáil isteach agus gur chaith sé leis mar ábhar, comhghairdeas, tá bealach an-chostasach cumtha agat chun sliocht a lua ó bhrabhsálaí fianán.
Ní dhéanann bailiúchán maith foinsí gach obair iartheachtach éasca. Déanann sé diagnóisitheach ar theip. Is feabhas mór é sin cheana féin. I dtáirgeadh, buaileann diagnóisitheach draíocht i gcónaí. Aoisíonn taispeántais draíochtúla cosúil le bainne.
Ní stóras saor é an gréasán oscailte
Tá cuid mhaith de chultúr an scríobtha fós ag iompar amhail is gur stóras saor é an gréasán le drochshoilsiú. Seol iarratais, tóg leathanaigh, dumpáil HTML, bog ar aghaidh. Bhí an dearcadh sin leochaileach cheana féin. I gcás córais AI, bíonn sé meargánta. Níl na sonraí á bhfeiceáil amháin. D'fhéadfaí iad a innéacsú, a achoimriú, a lua, a úsáid chun cinntí a thiomáint, nó a bheathú isteach i sreafaí oibre a mhaireann níos faide ná an nóiméad bailiúcháin bunaidh.
Mar sin, teastaíonn coscáin ón mbailiúchán. Ní comhad téacs maisiúil é polasaí robots do dhaoine dea-bhéasacha. Níl teorainneacha ráta roghnach toisc go bhfuil spriocdháta ag an bpíblíne. Ní deis spreagúil fionnachtana iad raonta líonra príobháideacha. Ní paranóia é cosaint SSRF. Is é an difríocht é idir uirlis bhailiúcháin agus eachtra slándála le mascot.
Ailíníonn nótaí foinse Winnow ar na coscáin seo: staidiúir diúltaithe de réir réamhshocraithe robots, teorainneacha ráta in aghaidh an fhearainn, cosaint SSRF, aschur struchtúrtha. Ní gnéithe taobh iad sin. Is iad teorainn an táirge. Níl uirlis ar féidir léi a fháil ón idirlíon gan ciseal polasaí cumhachtach ar bhealach úsáideach. Is dliteanas le tréchur í.
Seo freisin áit a n-éiríonn rialachas Eorpach an-nithiúil. Ní sa chiall mana. Sa chiall oibríochtúil iarbhír. Más mian le heagraíocht AI atá bunaithe ar fhianaise, caithfidh sí a fhios conas a tháinig fianaise isteach sa chóras. An raibh bailiú ceadaithe? Ar caitheadh le foinsí go difriúil de réir aicme? Ar aimsíodh taifid ó áiteanna a bhfuil cead ag an eagraíocht iad a phróiseáil? Ar cuireadh bac ar sheoltaí príobháideacha? An bhféadfadh oibreoir an polasaí a mhíniú gan damhsa léirmhínitheach a dhéanamh os comhair an rannóg soláthair?
Tá beagán íoróin thirim anseo. Is minic go mbíonn socruithe leadránacha an crawler níos tábhachtaí do mhuinín ná ailtireacht an mhúnla. Mothaíonn sé sin éagórach do dhaoine a thaitníonn léaráidí ailtireachta leo. Tá sé fós fíor. Má thagann an fhianaise isteach go dona, ní féidir leis an múnla a bheith ach ina aimplitheoir galánta ar dhroch-iontógáil.
Ní ionann eastóscadh agus cóipeáil
Teip choitianta eile is ea cóipeáil a mheascadh le heastóscadh. Ní hionann HTML a fháil agus ábhar úsáideach a eastóscadh. Bíonn nascleanúint, brabhsálaithe fianán, fógraíocht, naisc ghaolmhara, slaodacht chóta, scripteanna, blúirí leagan amach, agus uaireanta an rud féin a tháinig tú chuige ag folach amhail is go bhfuil airgead dlite aige, i leathanach amh.
Is iad aschuir Winnow is tábhachtaí mar go dteastaíonn cruthanna éagsúla ó thascanna éagsúla anuas. Téacs le léamh. JSON nó JSONL do shraitheanna struchtúrtha. CSV do shreafaí atá cairdiúil do tháblaí. HTML nuair is cuma faoin struchtúr bunaidh. Ní hé an pointe amháin aschur naofa a roghnú. Is é an pointe an t-aschur a dhéanamh follasach agus oiriúnach don jab.
Éiríonn sé seo ríthábhachtach nuair a chothaíonn foinsí cuardach, aisghabháil, nó rialachas eolais. Níor cheart go mbeadh ar mhúnla cinneadh a dhéanamh an fianaise é nasc i mbuntásc. Níor cheart do chóras aisghabhála gach meirge fianán a innéacsú amhail is dá mba ráiteas polasaí é. Níor cheart do phíblíne sonraí leagan amach leathanaigh a iompú ina thábla fíricí trí dhóchas. Is é an t-eastóscadh an áit a n-éiríonn an fhoinse ina hábhar is féidir le córais eile a úsáid gan gach giotán smionagair leathanaigh ghréasáin a iompar leo.
Ach caithfidh eastóscadh a bheith macánta freisin. Ní athscríobh é glanadh. Ní cumadóireacht é normalú. Ní athrú ar an éileamh é baint a bhaint as ábhar caighdeánach. Mura féidir leis an eastóscóir an difríocht a insint, ba cheart an amhras céanna a chur air agus a chuirfí ar dhuine díolacháin a úsáideann an focal gan stró. Go maith i méideanna beaga, contúirteach in aice le buiséad.
Cén fáth a mbaineann sé seo le hábhar roimh aisghabháil
Cuirtear an locht ar chórais aisghabhála as go leor fadhbanna a thosaigh níos luaithe. Tugann an t-innéacs ar ais iarrthóirí lag, mar sin déanann an fhoireann tiúnáil ar an rangú. Tá na tagairtí lag, mar sin athraíonn duine éigin an smutadh. Fuaimeann an tsamhail éiginnte, mar sin cuireann duine éigin treoir leide leis a bhfuil an fórsa mhothúchánach de mhaighnéad cuisneora aici. Uaireanta is é an ciseal aisghabhála an fhadhb go deimhin. Go minic, rinne an ciseal bailiúcháin an béile a nimhiú go ciúin sular thosaigh an rangú riamh.
Má thagann foinsí isteach gan chlúdaigh, ní féidir le haisghabháil iad a mhíniú níos déanaí. Má tá stampaí ama ar iarraidh, bíonn úire ina buille faoi thuairim. Má dhéantar neamhaird ar chóid stádais, breathnaíonn teip mar easpa. Má tá haiseanna ábhair ar iarraidh, éiríonn braite athraithe ina bhéaloideas. Má athraíonn cáilíocht eastósctha go mór, éiríonn rangú ina chomórtas idir comhartha agus ábhar caighdeánach.
Sin an fáth a suíonn Winnow go nádúrtha roimh chórais cosúil le BitWeave, Spindle, Fabric, nó aon táirge AI atá bunaithe ar fhoinsí. Ní hé an ciseal réasúnaíochta é. Ní hé an graf eolais é. Ní hé an comhéadan úsáideora é. Is é an smacht ionghabhála é a chinneann an bhfaigheann na cisil níos déanaí ábhar cosanta nó áiléar ciaptha de shliseanna gréasáin.
Is cuma faoin ord seo. Bailigh ar dtús le polasaí. Timpeallaigh gach foinse le comhthéacs. Eastósc i gcruthanna follasacha. Ansin innéacs, tagair, anailísigh, deimhnigh, nó achoimrigh. Má dhéantar an t-ord a aisiompú, críochnaíonn an fhoireann ag snasú freagraí ar bharr ionchuir anaithnid. Sin mar a fhaigheann nonsense costasach comhéadan deas.
Níl na comhairimh chomh tábhachtach leis an gconradh
Tá catalóg mhór ag Winnow de bhailitheoirí, comhtháthú cuardaigh, iontrálacha API, agus cumais eastósctha atá sainiúil do shuíomhanna. Tá na comhairimh bheachta difriúil idir ghabhálacha foinse, rud atá gnáth do dhromchla bailiúcháin atá ag athrú go gníomhach agus ní fiú é a iompú ina fhilíocht phoiblí. Ní uimhir laochúil an pointe tábhachtach. Is é an conradh an pointe tábhachtach.
An féidir leis an uirlis bailiú ó aicmí bealaí iolracha? An féidir léi formáidí struchtúrtha a aschur? An féidir léi teorainneacha sábháilteachta a chur i bhfeidhm? An féidir léi meiteashonraí foinse a iompar? An féidir í a úsáid mar leabharlann nó CLI? An féidir le foireann iniúchadh a dhéanamh ar an gcaoi ar tháinig foinse isteach sa chóras? Is iad sin na ceisteanna a mhaireann trí imscaradh fíor.
Is mealltach iad na huimhreacha mar go bhfeictear iad mar rud nithiúil. Ach maidir le bonneagar bailithe, is féidir le huimhir mhícheart an aird a tharraingt ón dearbhú fíor. Is measa míle bailitheoirí míchúramach ná tacar níos lú le polasaí cuí, clúdaigh, agus conarthaí aschuir. Ní hé an cheist aibí cé mhéad is féidir leat a scríobadh. Is í an cheist aibí ná cad is féidir leat a chosaint tar éis duit é a scríobadh.
An ceacht
Is é ceacht Winnow ná nach réamhrá é bailiú foinsí don chóras AI fíor. Is cuid den chóras AI fíor é. Braitheann an freagra a fheiceann úsáideoir ar cad a tháinig isteach, conas a tháinig sé isteach, cad a baineadh amach, cén comhthéacs a mhair, agus cé na bealaí neamhshábháilte a cuireadh bac orthu. Tuilltear innealtóireacht don obair sin, ní script deireadh seachtaine le hainm athróg laochúil.
Tá Winnow úsáideach mar go gcaitheann sé le bailiú mar iontógáil rialaithe: bealaí foinsí, geataí polasaí, teorainneacha sábháilteachta, aschuir struchtúrtha, agus clúdaigh foinsí. Ní dhéanann sé gach foinse iontaofa. Déanann sé cosán na foinse infheicthe go leor ionas gur féidir leis an gcuid eile den chóras iompar mar dhuine fásta.
Sin an fhírinne lom faoin gcuid is mó d'obair AI bunaithe ar thalamh. Sula ndéanann an tsamhail foinse a lua, sula ndéanann aisghabháil iarrthóir a rangú, sula ndeimhníonn Spindle adamh, sula dtaispeánann Fabric leathanach taobh thiar d'fhreagra, caithfidh duine éigin an t-ábhar a bhailiú gan praiseach a dhéanamh. Ní rud gléineach é. An-riachtanach. Beagáinín cosúil le pluiméireacht, ach amháin nuair a sceitheann sé tugann gach duine hallucination AI air.
Mar sin, bailigh foinsí, sea. Ach ná cuir carn i gcomparáid le corpas, ná crawler le rialachas. Ní hé an cheist úsáideach cé chomh tapa agus is féidir leis an uirlis an gréasán a ithe. Is í an cheist úsáideach an féidir leis an eagraíocht a mhíniú fós cad a d'ith sí, cén fáth ar ceadaíodh é, cad a tháinig amach, agus ar cheart don chéad chóras eile muinín a bheith aige as.