Viešasis internetas tampa derybomis dėl mokymo duomenų

Tinklų naršyklės, rezervacijos, licencijos ir kilmės įrašai keičia senąją prielaidą, kad viešas puslapis tiesiog skirtas paimti. Naudingas klausimas nebėra,...

Viešasis internetas tampa derybomis dėl mokymo duomenų

The page is public. The use is not settled.

For a long time, the public web ran on a blunt but workable social bargain. A publisher made a page available. Search engines found it, indexed enough of it to send readers back, and a person arrived at the original page. There were arguments about indexing, snippets and advertising, but the route was recognisable. A page was both the unit of publication and the place where the reader met the publisher.

Training a general-purpose model changes the shape of that bargain. A crawler may still begin with a public address, but the destination is no longer necessarily a search result. The material may be copied, parsed, filtered, stored, combined with other material and used in a training process whose output is not a link back to the page. It may later help answer a question without a reader visiting the original work. The fact that a page is visible is relevant. It is not the whole answer.

This is why the public internet is becoming a training-data negotiation. Not a single negotiation held in one room, and not a drama in which one side discovers that the other exists. It is a distributed negotiation conducted through law, licences, technical signals, contracts, standards, records and, where necessary, people speaking to each other. A rightsholder can reserve a mining use. A model provider can identify a reservation and decide not to collect. The parties can agree a licence. An organisation can document the path well enough that a later question is answerable. Or they can leave the path vague and discover that vagueness is expensive once the material has travelled.

None of this makes every public page unavailable for every computational use. The European copyright framework contains text and data mining exceptions, and the conditions matter. Neither does it make a robots file into a universal copyright instrument, or a licence into a simple tick box. The useful change is more modest: training data has to be treated as a relationship with terms, history and boundaries. That is a better description of what it already was. The new part is that the relationship is becoming harder to ignore.

The European Commission's work around the AI Act gives the change an administrative shape. Providers of general-purpose AI models have copyright-policy and training-content-summary obligations. The GPAI Code of Practice presents a voluntary route for providers that choose to follow it, including commitments concerning rights reservations and robots.txt. The Commission has also consulted on protocols for expressing reservations. These are not substitutes for copyright law, nor a declaration that every technical signal has the same legal effect. They are evidence that the journey from a rightsholder's instruction to a model provider's collection system is now a policy problem in its own right.

The story does not need an invented publisher, a dramatic crawler or a fictitious court hearing. It is visible in the ordinary points where a source changes hands. Someone decides whether a URL belongs in a collection. Someone decides what a reservation means. Someone decides whether a licence is sufficiently specific for training, retrieval, evaluation or redistribution. Someone decides which version of a policy applies when a source changes. The decisions can be quiet. They are still decisions.

A crawler is no longer only a visitor

Browsers, search crawlers, archival tools, accessibility services, academic researchers, monitoring systems and model-training pipelines can all request the same page. From the publisher's server, they may initially look similar: a request arrives, a response is sent, a log line is written. But their purposes, copying patterns and downstream consequences are different. Treating every automated request as identical is convenient for infrastructure and poor for governance.

A normal reader opens one article and may return another day. A search crawler creates an index intended to direct a reader back. A training pipeline can make a copy that is retained, transformed and aggregated with many other works before any model exists. A retrieval system may create a more direct commercial substitute for a visit. An evaluation set may preserve excerpts to test a system. The labels are not moral rankings. They are descriptions of uses that require different questions.

The first question is usually access. Did the collector reach the material through a lawful route? The second is the legal basis for the acts the system wants to perform. The third is whether the rightsholder has expressed a reservation where the applicable rule allows one. The fourth is whether a separate licence or contract supplies permission, conditions or limits. A fifth question, which often arrives too late, is operational: can the organisation show what it saw and why it proceeded?

Directive (EU) 2019/790 does not treat text and data mining as a single, limitless permission. Article 3 provides a mandatory exception for research organisations and cultural heritage institutions making reproductions and extractions for scientific research, provided they have lawful access. Article 4 addresses text and data mining for other purposes, again where there is lawful access, unless the rightsholder has reserved the relevant rights in an appropriate manner. For online content made publicly available, the Directive says the reservation may be expressed by machine-readable means, including metadata and terms and conditions.

That distinction is not a minor drafting curiosity. It means that a public page does not carry one generic label called usable. The actor, purpose, access route, rightsholder's reservation and the particular acts all matter. A sensible collection system therefore needs more vocabulary than allow and block. It should be able to record candidate, access observed, reservation detected, licence required, licence granted, purpose limited, unresolved, declined and withdrawn. This is not bureaucracy for its own sake. It is the minimum grammar needed when a source can be perfectly visible and still not be available for the proposed use.

The European Union Intellectual Property Office's 2025 study on generative AI and copyright describes this landscape as one in which rights reservations and licensing are developing alongside technical solutions. Its conclusion is not that a finished market mechanism has appeared. It is nearly the opposite: no single solution fits every rightsholder, every model provider or every kind of material. That is precisely why an honest system has to preserve distinctions rather than erase them in the name of scale.

Scale is often offered as an excuse for imprecision. A model provider may say it cannot negotiate page by page. A small publisher may say it cannot inspect every automated request. Both statements can be true. They do not remove the need for a workable interface between the two. They explain why machine-readable signals, standard licences, source-family records and collective arrangements are interesting. The answer to a large problem is not necessarily a large meeting. It may be a dependable way to state a boundary and a dependable way to receive it.

Šaltinio maršrutas nėra tunelis į modelį. Tai eilė sprendimų, kurie turėtų likti matomi ir po surinkimo.

Diagrama yra konceptualus maršrutas, o ne teisinis sprendimų variklis. Žalia kortelė nepatvirtina, kad naudojimas yra teisėtas. Ji rodo įrodymus ir vertinimą, kuriuos komanda turėtų galėti patikrinti. Šis kuklus skirtumas yra vertingas. Dauguma lengvai išvengiamos painiavos prasideda tada, kai veiklos faktas supainiojamas su teisine išvada arba kai teisinės išvados nebegalima atsekti iki veiklos faktų.

Atsisakymams reikia kalbos, kurią gali pernešti mašinos

Atsisakymas dažnai apibūdinamas kaip mygtukas: teisių turėtojas pasako ne, o tikrintuvas sustoja. Tikrasis darbas ne toks kinematografiškas. Atsisakymas turi būti kažkur išreikštas, kolektoriaus surastas, susietas su atitinkamu kūriniu ar paslauga, interpretuojamas tinkamame kontekste ir išsaugotas kaip įrodymas. Jis gali būti metaduomenyse, sąlygose, paskelbtoje politikoje arba protokole, kurį kolektorius supranta. Jis gali būti taikomas svetainei, katalogui, kanalui, duomenų bazei arba apibrėžtai kūrinių grupei. Jis gali keistis laikui bėgant.

Direktyvos nuoroda į mašininį skaitomumą yra svarbi, nes atsisakymo, kurio nepavyksta rasti surinkimo metu, negalima patikimai paversti surinkimo sprendimo pakeitimu. Tačiau mašininis skaitomumas nereiškia nekladingumo, savaime suprantamumo ar teisinio išsamumo. Analizatorius gali rasti direktyvą su nepažįstama reikšme. Teisių turėtojas gali paskelbti politiką, kuri nukreipia į licencijavimo kontaktą, o ne į visišką atsisakymą. Šaltinis gali būti prieinamas per prenumeratą su savomis sąlygomis. Sistema gali iš viso nematyti jokio atpažįstamo signalo. Signalo nebuvimas yra stebėjimas, o ne bendras leidimas.

Čia yra gana olandiška pamoka. Ženklas, skelbiantis, kad tiltas uždarytas, netampa geresnis, kai pristatymo vairuotojas teigia, kad jo žemėlapis ženklo neiššifravo. Ir ne kiekvienas uždarytas tiltas yra draudimas įvažiuoti į provinciją. Klausimas, ar ženklas įskaitomas atitinkamam maršrutui, ar maršrutas turi protingą alternatyvą ir ar kas nors užfiksavo, kas įvyko. Tikslas nėra paversti internetą kanalų tinklu. Tikslas yra neleisti ribai išnykti vien todėl, kad ją modeliuoti buvo nepatogu.

The Commission's consultation on protocols for reserving rights from text and data mining makes this implementation gap explicit. It refers to the GPAI Code of Practice commitment for signatories to identify and comply with appropriate machine-readable protocols used by rightsholders, alongside a commitment to respect robots.txt and subsequent IETF versions of the standard. The consultation itself is not a final protocol. It is evidence that the parties need a clearer technical language for a legal choice that has to travel through automated systems.

Robots.txt has a useful, limited role in that conversation. It is a long-standing web convention for crawler behaviour. It can convey that a publisher does not want a particular automated agent or path crawled. The GPAI Code's treatment gives it practical importance for signatories' collection systems. But robots.txt is not a universal rights register, and a crawler instruction does not settle every question of copyright, contract or database right. Confusing the layers produces two bad outcomes. One side assumes that robots.txt is the whole legal answer. The other treats it as merely optional etiquette. Neither position creates a stable relationship.

A collection system should keep the signals separate. Technical crawl instruction: what did the robots file say at the time? Rights reservation: what machine-readable or published statement did the source provide? Access condition: was the route open, authenticated, subscribed or supplied under an agreement? Licence: which rights were granted for which purpose and period? Internal policy: what did the organisation decide to do where the picture remained uncertain? The fields may be connected, but they are not interchangeable.

This separation also makes error handling more humane. A collector can report that it saw a signal it cannot interpret, rather than quietly treating the signal as irrelevant. A rightsholder can discover that its preferred marker is not supported and choose another channel. A provider can improve a parser without rewriting history. A later reviewer can see whether a source was admitted because a licence existed, because an exception was assessed, or because a policy decision was made under stated uncertainty. The alternative is one opaque field that says collected.

Licensing is not the opposite of innovation

There is a persistent habit of describing licences as friction and models as progress. It is a misleading contrast. A licence can be a restriction, but it can also be an interface: a way to say which material is available, for what use, at what price, with what attribution, reporting, exclusion or renewal condition. The quality of that interface determines whether smaller rightsholders and smaller model providers can take part at all.

The Federation of European Publishers has argued that rightsholders need transparency about data used to train AI and where it was harvested, while also recognising that publishers may use AI in their own work. That is a sector position, not neutral proof of the right legal answer in every case. It nevertheless states a practical point that model providers should take seriously: a publisher can be both a user of AI and a rightsholder whose material needs terms. The choice is not between literature and technology, or between creators and engineering. The choice is whether the exchange has a legible basis.

Leidėjų asociacijos 2026 m. Jungtinės Karalystės leidybos ir dirbtinio intelekto licencijavimo rinkos apžvalga pateikia konkretesnį vaizdą. Joje aprašomos esamos tekstų ir duomenų gavybos licencijos, vėlesnės dirbtinio intelekto mokymo licencijos ir augantis su paieškos papildymo generavimu susijęs licencijavimas, taip pat pranešama apie darbą kuriant kolektyvinę licenciją su teisių turėtojų galimybe atsisakyti. Jungtinė Karalystė yra už ES teisinės sistemos ribų, todėl tai nėra įrodymas, ko reikalauja DSMI direktyva. Tai naudingas įrodymas, kad netoliese esanti Europos teisių rinka bando padaryti mokymo ir paieškos leidimus praktiškesnius nei privatus kelių labai didelių organizacijų susitarimas.

Kolektyvinius susitarimus verta stebėti, nes internetą kuria ne tik įmonės, turinčios teisės skyrių ir klientų vadybininką. Mažas specializuotas leidėjas, mokslinė draugija, regioninis laikraštis, fotografų archyvas ar savarankiškas autorius gali turėti vertingos medžiagos, tačiau labai mažai galimybių derėtis dėl individualių sąlygų su kiekvienu potencialiu modelio teikėju. Standartinė galimybė atsisakyti, kolektyvinė licencija ar patikimas tarpininkas negali išspręsti kiekvieno vertinimo klausimo. Jie gali padaryti pirmąjį pokalbį įmanomą.

Modelių teikėjai taip pat turi priežastį teikti pirmenybę aiškumui. Derantis kelias gali pateikti medžiagą su nustatyta kilme, apibrėžta apimtimi ir atskaitingu kontaktiniu asmeniu. Tai gali kainuoti pinigų. Taip pat kainuoja duomenų rinkinio valymas, ginčijamo šaltinio tyrimas, pozicijos, neturinčios įrašų, gynimas ar šaltinio pakeitimas vėlyvame kūrimo etape. Licencija negarantuoja, kad medžiaga yra tinkama, tiksli ar reprezentatyvi. Ji prisideda kitaip: paverčia leidimą iš prielaidos į aiškiai išreikštą sąlygą.

Kompensacija taip pat nėra stebuklingas žodis. Nėra vieno teisingo tarifo kiekvienam kūriniui ir kiekvienam naudojimui. Mokymas, paieška, vertinimas, vidinė analizė, modelio tobulinimas ir publikavimas gali sukurti skirtingus komercinius santykius. Licencija gali būti už kūrinį, už rinkinį, už tomą, už laikotarpį, už diegimą, už vartotoją, už modelių šeimą arba deramasi kitu pagrindu. Ji gali apimti priskyrimo prievolę, ataskaitų teikimo prievolę, teisę į auditą, atsisakymo mechanizmą arba visai jokios nuolatinės prieigos. Naudinga sistema neapsimeta, kad šios sąlygos yra visuotinai paprastos. Ji padaro jas pakankamai aiškias, kad būtų galima taikyti.

Svarbus pokytis yra nuo gavybos kultūros prie sąlygų kultūros. Tai nereiškia, kad kiekvienas duomenų rinkinys tampa pirkimo procedūra. Tai reiškia, kad kai teisių turėtojas nusprendžia pasilikti, licencijuoti ar siūlyti medžiagą tam tikromis sąlygomis, modelio teikėjas turi veiksmų galimybę priimti tą pasirinkimą. Kai teikėjas nori naudoti aukštos kokybės, aktualią, specializuotą medžiagą, jis turi kelią paklausti, o ne tik kelią kopijuoti. Yra nemažai erdvės tarp beatodairiško naršymo ir pasaulio, kuriame derėtis gali tik didžiausios įmonės.

Kilmė yra kvitas, o ne leidimas

Kilmė kartais parduodama kaip vaistas nuo autorių teisių neaiškumų. Taip nėra. Šaltinio įrašas gali parodyti, iš kur medžiaga atsirado ir ką kažkas manė tam tikru metu. Jis negali padaryti neprieinamo kūrinio prieinamo. Maišos suma gali įrodyti, kad du failai yra identiški, nepaaiškindama, ar kuris nors iš jų buvo teisėtai nukopijuotas. Puikiai tvarkoma knyga gali įspūdingai tiksliai dokumentuoti blogą sprendimą.

Būtent šis apribojimas ir yra priežastis, kodėl kilmė yra naudinga. Ji atskiria įrodymus nuo norimo matymo. Jei modelio teikėjas saugo šaltinio URL, šaltinio tapatybę, rinkimo laiką, pastebėtas sąlygas, atsisakymo įrodymus, prieigos kelią, sprendimo savininką, taikomą licenciją ar išimties vertinimą, duomenų rinkinio versiją ir numatomą naudojimo paskirtį, vertintojas gali užduoti prasmingą klausimą. Jei teikėjas saugo tik ištrauktą teksto fragmentą ir datą, vertintojui lieka archeologija.

Gera kilmės istorija reikalauja laiko. Puslapis gali pasikeisti. Leidėjas gali peržiūrėti sąlygas. Šaltinis gali būti pašalintas, perkeltas už prenumeratos, parduotas, pataisytas arba pakeistas. Licencija gali nustoti galioti. Atsisakymo protokolas gali būti atnaujintas. Modelio teikėjas gali aptikti ankstesnio rinkimo sprendimo trūkumą. Įrašas neturėtų perrašyti ankstesnės būsenos dabartine. Jis turėtų išsaugoti ankstesnį stebėjimą, nustatyti vėlesnį pokytį ir užfiksuoti, ką organizacija darė toliau.

Tai ypač svarbu kalbant apie pašalinimą ar atšaukimą. Puslapio pašalinimas iš tiesioginio tikrintuvo eilės nėra tas pats, kas jo pašalinimas iš kiekvienos tarpinės saugyklos, išvestinių duomenų rinkinių, tikslaus derinimo vykdymų, vertinimo rinkinių, paieškos indekso ir išleistų modelių. Sąžiningas atsakymas nėra žadėti akimirksniu ištrinti iš kiekvieno techninio artefakto. Tai apibrėžti kelius, ribas ir peržiūros taškus prieš juos žadant. Teisių turėtojas nusipelno kontaktinio taško, kuriame būtų galima paaiškinti procesą. Modelio teikėjui reikia būdo nustatyti, kurie artefaktai yra paveikti. Abiem reikia įrašo, kuris atskirtų gautą užklausą nuo išspręstos užklausos.

AI akto 53 straipsnis kilmės istorijai suteikia viešosios politikos kaimynę. Jis reikalauja, kad bendrosios paskirties AI modelių teikėjai nustatytų politiką, kaip laikytis Sąjungos autorių teisių įstatymų, ir viešai paskelbtų pakankamai išsamų mokymui naudoto turinio apibendrinimą. Viešame apibendrinime nebūtina atskleisti kiekvieno duomenų rinkinio elemento, o akte yra konfidencialumo ir komercinių paslapčių ribos. Tačiau kryptis aiški: modelio teikėjas turėtų sugebėti apibūdinti mokymo turinį taip, kad tai būtų informatyviau nei „pasitikėkite mumis“, išlaikant išsamesnę dokumentaciją atitinkamoms institucijoms ir vėlesniems teikėjams.

Toks auditorijų atskyrimas yra protingas. Viešam skaitytojui reikia suprasti šaltinių kategorijas, rinkimo ir atrankos pasirinkimus, svarbius apribojimus ir kontaktų kelius. Teisių turėtojui, turinčiam konkretų klausimą, gali prireikti proceso, galinčio apdoroti konkretesnę užklausą. Reguliatoriui gali prireikti dokumentacijos, kurios negalima pagrįstai paskelbti viešame puslapyje. Klaida yra traktuoti šiuos sluoksnius kaip pasiteisinimą nieko nesakyti arba traktuoti viešą apibendrinimą kaip įrodymą, kad kiekvienas šaltinio lygmens sprendimas buvo išspręstas. Skaidrumas yra informacijos architektūra, o ne spaudos pranešimas.

Kilmės istorija nesukuria leidimo. Ji išlaiko įrodymus, apimtį ir vėlesnį pokytį susietus su darbu, kuriam jų reikia.

Inžinieriams čia yra naudinga disciplina. Įraše turi atsispindėti neapibrėžtumas. Jei šaltinio būsena neišspręsta, įrašykite neišspręsta. Jei licencija apima gavimą, bet ne mokymą, nevadinkite jos plačiai licencijuota. Jei politika pasikeitė po surinkimo, nesudarykite įspūdžio, kad ankstesnis sprendimas buvo priimtas pagal vėlesnę politiką. Duomenų rinkinys netampa patikimesnis dėl jo etikečių užtikrintumo. Jis tampa geriau valdomas, kai jo etiketės išsaugo tai, kas žinoma, nežinoma ir sąlyginė.

Derybos turi apimti ir išėjimą

Didžioji dalis diskusijų sutelkta į įleidimą: ar tikrintuvas šiandien gali surinkti šį šaltinį? Tačiau santykiams su mokymo duomenimis taip pat reikia išėjimo. Licencija pasiekia savo pabaigos datą. Teisių turėtojas pakeičia apribojimą. Leidėjas randa klaidą priskyrimo įraše. Teikėjas pakeičia savo modelio kūrimo planą. Šaltinis tampa netinkamas, nes jo kilmės negalima atkurti. Gaunamas skundas. Tai įprasti gyvavimo ciklo įvykiai, o ne įrodymas, kad kažkas elgėsi blogai.

Svarbus klausimas, ar sistema žino, ką daryti, kai jie įvyksta. Šaltinio politika turėtų nustatyti, kas gauna pranešimą, kas sprendžia dėl jo apimties, kas gali sustabdyti naują naudojimą, kas gali atsekti paveiktus duomenų rinkinius, kas bendrauja su teisių turėtoju ir ką organizacija realiai gali ir ko negali pakeisti išleistame artefakte. Darbo eiga turi būti pakankamai konkreti, kad ją būtų galima išbandyti. Teiginys, kad susirūpinimas vertinamas rimtai, yra mandagus sakinys. Tai ne procesas.

Europos diskusijose apie modelių valdymą įprasta grįžti prie dokumentacijos, nes dokumentacija yra vieta, kur sistema deklaruoja savo pačios atmintį. Tas pats pasakytina ir čia. Skundų nagrinėjimo kelias turi turėti identifikatorių. Peržiūrai reikia užfiksuoto sprendimo. Prašymui pašalinti reikia aiškios ribos. Šaltinio pakeitimui reikia versijų istorijos. Modelio išleidimas turi būti susietas su atitinkamais mokymo ir kuravimo įrašais. Be to net nuoširdi organizacija ilgainiui pasikliauja prisiminimais, o prisiminimai nelabai gerai veikia po kelių darbuotojų pasikeitimų ir trijų saugyklų migracijų.

Išėjimą sukurti anksti yra ir komercinė priežastis. Teikėjas, galintis izoliuoti šaltinių šeimą ir suprasti jos naudojimą vėlesniuose etapuose, turi daugiau galimybių, kai sąlygos keičiasi. Jis gali sustabdyti būsimą rinkimą, pašalinti šeimą iš planuojamo duomenų rinkinio, pakeisti licencijuota medžiaga, sustabdyti išleidimą arba paaiškinti, kodėl prašoma priemonė pasiekia vieną artefaktą, bet ne kitą. Teikėjas be tokių saitų yra priverstas daryti plačius teiginius, nes negali pateikti tikslaus atsakymo. Plačiais teiginiais retai kada patenkinta kuri nors pusė.

Šiuose santykiuose atsakomybės turi ir teisių turėtojai, nors jos nėra tokios pačios kaip teikėjų atsakomybės. Apribojimą, paskelbtą aiškia, stabilia, mašininiu būdu skaitoma forma, lengviau gerbti nei ribą, įterptą į pastraipą, kurios jokia rinkimo sistema negali atpažinti. Licencijavimo kontaktas, galintis paaiškinti galimą kelią, sumažina teisėto susitarimo kainą. Pranešimas apie pakeitimą, išsaugantis istoriją, neleidžia protingam rinkėjui būti vertinamam pagal informaciją, kuri tuo metu nebuvo prieinama. Našta neturėtų būti visiškai perkelta leidėjams, ypač mažesniems. Tiesiog tiesa, kad sąsaja veikia geriau, kai abu galai gali kalbėtis.

Komisijos dabartinis darbas su rezervavimo protokolais todėl nėra neaiški standartų diskusija. Jis susijęs su tuo, ar žiniatinklis gali išreikšti pasirinkimą tokiu mastu, kokiu modeliai renka medžiagą. Geri standartai neišspręs vertinimo, nepadarys kiekvieno teisinio klausimo lengvo ir nepanaikins nesąžiningumo. Jie gali sumažinti išvengiamų dviprasmybių klasę. Tai kukli ambicija, o žiniatinklyje kuklios ambicijos paprastai yra tos, kurios išgyvena susidūrimą su realybe.

Ką atsakingas rinkėjas turėtų sugebėti pasakyti

A responsible collector does not need to make legal advice appear in every log line. It does need to make several practical statements true. It should be able to say what purpose a collection served. It should be able to identify the source and version it considered. It should be able to show the access route and the signals it observed. It should be able to identify the rule, licence or unresolved question that governed the decision. It should be able to connect an admitted source to the dataset or system that received it. It should be able to explain how it handles changes and concerns.

Those statements suggest a design rather than a checklist. Begin with a source contract. The contract names the source family, the intended use, accepted access methods, technical limits, known rights signals, required evidence and an owner. It is not a contract in the legal sense unless the parties have made it one. It is an operational contract inside the organisation: a record of what the collection system may do and why.

Then keep decision points close to the actions that matter. Do not fetch first and look for restrictions after the material has been copied through several queues. Do not permit a dataset to move from research evaluation to commercial model training merely because the bytes fit both tasks. Do not transform a licence field into a generic true value because the actual scope is inconvenient. And do not treat a request to stop as a support ticket with no relationship to the source record.

Where a collector cannot understand a signal, it should say so. Where a human review is needed, the system should make the pause visible. Where a licence is available, the commercial and technical routes should meet: the agreement must be represented in a form that changes what the collector can do. A PDF in a legal folder does not prevent a pipeline from doing the wrong thing at three in the morning. The pipeline needs an enforceable state.

At Dweve, the small part of this argument that is directly ours is visible in the training-content material in our Trust Centre. The published record says that its source-family catalogue is not a blanket permission claim and that item, version, licence, attribution, purpose, withdrawal and evidence decisions are controlled in a Spindle ledger. That is a description of our stated process, not a claim that a record resolves copyright questions by itself. Winnow's role in that picture is source intelligence and repeatable, inspectable source processes. The broader point is not about our products. It is that collection becomes more responsible when the source route is treated as evidence rather than as background noise.

This is the kind of product work that rarely appears in a model demo. Nobody applauds a field called observed-terms-version. But those fields decide whether a team can answer a reasonable question without conducting an internal excavation. The future of model governance will include plenty of impressive mathematics. It will also include rather more careful records than the industry once thought fashionable.

The work is governance, not a crawler setting

It is tempting to make this a technical dispute. Put the right instruction in a file, update the user agent, turn a parser on, turn a parser off. Those things matter, but they are only the visible edge of a governance problem. A crawler does what the organisation has decided it may do. If the organisation has no clear purpose boundary, no licence register, no source owner, no review route and no dataset lineage, technical obedience will be inconsistent even when every individual engineer is trying to be careful.

Pradėkite nuo tikslo, nes tikslas pakeičia klausimą. Modelio teikėjas, renkantis medžiagą siauram, atskleistam moksliniam eksperimentui, nebūtinai yra tokioje pačioje padėtyje kaip tas, kuris renka medžiagą komerciniam bendros paskirties modeliui. Teikėjui, siekiančiam licencijos paieškai, gali reikėti kitokios sutarties nei tam, kuris siekia mokyti modelį. Viešojo intereso archyvas gali turėti kitokį įgaliojimą ir teisinį kelią nei produktų komanda, kurianti atsakymų variklį. Šie skirtumai neturėtų būti naudojami pareigoms užgožti. Jie yra priežastis, kodėl vienas universalus būsenos laukas negali pasakyti tiesos.

Tada padarykite nuosavybę matomą. Kažkas turėtų būti atsakingas už šaltinio politiką. Kažkas turėtų būti atsakingas už techninį rinkiklį. Kažkas turėtų būti atsakingas už licencijos sąlygas ir sprendimą įtraukti šaltinių grupę. Kažkas turėtų būti atsakingas už atsakymą į teisių turėtojo užklausą. Tas pats asmuo nebūtinai turi eiti visas pareigas, o maža komanda gali jas sujungti. Svarbu tai, kad atsakomybė būtų nustatoma prieš klausimui tampant ginču. Bendras el. pašto adresas nėra visai savininkas. Tai vieta, kur nuosavybė gali būti arba nebūti galiausiai rasta.

Duomenų valdymas taip pat turi atitikti modelio valdymą. Šaltinio sprendimas, kuris lieka žiniatinklio rinkimo įrankyje, kai mokymas vyksta kitur, yra silpnas pagal savo pobūdį. Mokymo komanda turi žinoti, kokios šaltinių grupės yra taikymo srityje. Duomenų rinkinio kūrėjas turi išsaugoti išimtis ir sąlygas. Išleidimo procesas turi žinoti, ar esminis šaltinio politikos pakeitimas reikalauja peržiūros. Viešosios santraukos procesas turi turėti pagrįstą mokymo turinio kategorijų aprašymą. Niekam nereikia visos istorijos nešiotis savo galvoje. Sistema turi turėti kelią, per kurį istoriją būtų galima atgauti.

Čia padeda kruopštus politikos ir vykdymo užtikrinimo skirtumas. Autorių teisių politika nurodo, ką organizacija ketina daryti ir kokių standartų laikysis. Vykdymo užtikrinimas yra techninių ir procedūrinių kontrolės priemonių rinkinys, kuris apsunkina priešingą veiksmą: įtraukimo vartai, šaltinio įrašai, tikrinimo programos konfigūracija, prieigos kontrolė, sutarčių patikros, duomenų rinkinių aprašai, versijų valdymas, peržiūra ir eskalavimas. Politika be vykdymo užtikrinimo yra siekis. Vykdymo užtikrinimas be politikos gali tapti efektyviu būdu vykdyti taisykles, kurių niekas iki galo neapgalvojo. Dirbtinio intelekto akto dėmesys autorių teisių politikai yra vertingas būtent todėl, kad jis reikalauja iš teikėjo susieti teisinį ketinimą su jo veiklos praktika.

Nėra jokios priežasties, kad tai taptų slapta vidine ceremonija. Vieša politika gali nurodyti taikymo sritį, požiūrį į teisių išlygas, naudojamų rinkimo kelių rūšis, kontaktinį kelią ir bet kokios viešos ataskaitos ribas. Ji neturėtų žadėti tikrumo ten, kur įstatymai ar įrodymai lieka neišspręsti. Ji turėtų pasakyti, ką daro, kai signalas yra dviprasmiškas, ką daro, kai teisių turėtojas su ja susisiekia, ir ką gali peržiūrėti po to, kai šaltinis jau praėjo per sistemą. Santūri politika yra patikimesnė nei didinga. Didžioji dalis darbo vyksta po politikos paskelbimo, neglamūriame klausime, ar įrašas ir dujotiekis sutampa.

Viešieji pirkimai nusipelno tokio pat dėmesio. Kai organizacija perka modelį, duomenų paslaugą ar paieškos produktą, ji turėtų klausti ne tik ar tiekėjas turi autorių teisių pareiškimą savo svetainėje. Kokios šaltinių kategorijos buvo naudojamos? Kaip tvarkomos teisių išlygos? Kokia dokumentacija prieinama vėlesniems teikėjams? Ar tiekėjas gali paaiškinti savo viešą mokymo turinio santrauką? Kas atsitinka, kai turinio šaltinis yra ginčijamas, pataisomas ar atšaukiamas? Kuri šalis turėtų tirti? Tai ne klausimai, kuriuos klientas užduoda norėdamas tapti autorių teisių advokatu. Tai įprasti klausimai apie priklausomybę ir įrodymus.

The answers may be incomplete, especially in a fast-moving field. Incomplete answers should be labelled as such, with an owner and a route to improve them. The dangerous answer is often the smooth one: all content is public, all training is fair, all records are confidential, all concerns are handled. Each phrase hides the very distinctions that a responsible negotiation needs. A more useful answer names the scope, the rule, the evidence, the limitation and the next review point.

Public authorities have a particular reason to ask these questions. They can influence the market through procurement long before a court or regulator resolves every difficult issue. A tender can require a provider to describe its approach to training data, reservations, licences, provenance and complaints. It can require a record of material changes. It can distinguish a statement of policy from evidence of implementation. It can set proportionate conditions without insisting that the buyer possesses a complete theory of every copyright question in Europe. Procurement is not a substitute for law. It is one of the places where law becomes an operational expectation.

That is the wider lesson. The negotiation is not merely between a publisher and a crawler. It also involves the people who configure collection, create standards, procure models, manage licences, build datasets, publish model documentation, operate complaint routes and decide whether a model can be placed on the market. A training-data relationship becomes less extractive when those people can see the same evidence and work with the same boundaries. The alternative is not simplicity. It is a chain of separate assumptions that eventually meets a rightsholder at the worst possible moment.

Public does not mean ownerless

The public web should remain public. That means it should remain possible to read, link, quote within the law, research, index, criticise, preserve and build new services. A web made of permission pop-ups for every ordinary act would not be open in any useful sense. But openness is not the same thing as ownerlessness, and visibility is not an all-purpose transfer of rights.

The negotiations now forming around training data are an opportunity to make that distinction practical. A rightsholder should be able to reserve a use in a form a responsible collector can receive. A model provider should be able to obtain high-quality material through terms that can be implemented and audited. Small organisations should not be excluded because only the largest parties can afford bespoke agreements. Public authorities should be able to see enough about model-training content and copyright policy to ask intelligent questions. And when a dispute or change occurs, both sides should have a route that begins with evidence rather than theatre.

There will still be hard cases. The law will still need interpretation. Some rights conflicts will not be fixed by a standard, and some commercial negotiations will remain unequal. A provenance ledger will not make a poor bargain fair. A technical marker will not make a right meaningful if a collector deliberately ignores it. The aim is not a frictionless web. Frictionless often means that somebody else's cost has been hidden.

The better aim is an inspectable web. One in which an automated request can carry a declared purpose, a published boundary can survive contact with a collection system, a licence can become an operational rule, and a model provider can account for the route that brought material into its work. That is a less romantic vision than a machine reading everything ever written. It is also more likely to leave publishers, creators, researchers and model builders with a web worth negotiating over.

Sources