Ko nopietns mākslīgais intelekts aizgūst no drošības inženierijas
Dzeltenā līnija rūpnīcas grīdā
Pirmo noderīgo drošības mācību, ko redzēju, nebija AI laboratorijā. Tā bija uzkrāsota uz rūpnīcas grīdas. Kāds apmeklētājs bija pārkāpis dzelteno līniju, lai labāk redzētu mašīnu, kas darīja tieši to, kam tā bija paredzēta, un tieši tāpēc neviens nevēlējās, lai apmeklētājs tai tuvotos. Nekas briesmīgs nenotika. Iedegās gaisma. Aizsargs apturēja kustību. Pienāca uzraugs ar pacietīgu sejas izteiksmi, kāds ir cilvēkam, kurš šo pašu noteikumu jau skaidrojis dārgiem apaviem.
Līnija nebija morāls arguments. Tā nelūdza apmeklētājam būt atbildīgam. Tā nepaļāvās uz mācību slaidu, kas atcerēts no brokastīm. Tā radīja robežu, un mašīna bija veidota tā, lai pamanītu, kad robeža tiek pārkāpta. Organizācija bija izlēmusi, ka dažas kļūmes ir jāpadara grūti pieļaujamas pēc konstrukcijas, nevis tikai jāattur ar politiku. Tāpēc drošības inženierija ir tik noderīga AI. Tā gadu desmitiem ir mācījusies, ka cilvēka nodomi, rakstīti norādījumi un labas sajūtas nav kontroles mehānismi.
AI sistēmas bieži tiek ieviestas ar pretēju instinktu. Mēs palaižam spējīgu modeli, uzrakstām lietošanas noteikumus, pievienojam cilvēku procesa ķēdē un pieņemam, ka šī ķēde būs gudra, atpūtusies, informēta, pilnvarota un nesteidzīga. Tas ir optimistiski tādā pašā nozīmē, kā optimistisks ir kartona lietussargs. Cilvēki ir būtiski, bet cilvēki, kas novietoti nedrošas darba plūsmas galā, nav drošības arhitektūra. Viņi ir pēdējā brīža atvainošanās ar pieteikšanos.
Nopietns AI aizgūst no drošības inženierijas, jo drošības inženierija sākas ar neērto jautājumu. Kas var noiet greizi, kā mēs to uzzinātu, kas to novērš, kas ierobežo kaitējumu, kurš var apturēt sistēmu un kādi pierādījumi apliecina, ka kontrole darbojās. Atbildes reti ir glamūrīgas. Tās ir bloķētājsistēmas, pārbaudes saraksti, trauksmes signāli, žurnāli, mācības, pienākumu sadale, rezerves režīmi, dizaina pārskati, incidentu ziņojumi un apmācība, kas ir saistīta ar darbu, nevis laminēta un aizmirsta.
Bīstamība nav slikti iznākumi ar skaistākiem papīriem
Bīstamība ir apstāklis, kas var novest pie kaitējuma. Tas izklausās vienkārši, līdz organizācija mēģina to pierakstīt. Sliktais iznākums var būt nepareizs atteikums, nepamanīta diagnoze, bīstams norādījums, neobjektīvs ranžējums, privātuma pārkāpums vai maldinošs kopsavilkums. Bīstamība var būt agrāka un klusāka: nepilnīgi ieraksti, neskaidra pilnvarotība, novecojusi informācijas izguve, pārlieku pašpārliecināta saskarnes valoda, trūkstoša eskalācija, neskaidrs darbības tvērums vai rinda, kas recenzentiem atvēl deviņdesmit sekundes lēmumam, kuram pienākas deviņas minūtes.
Šī atšķirība ir svarīga. Ja komandas uzskaita tikai sliktos iznākumus, kontroles pasākumi tiek ieviesti par vēlu. Viņi saka, ka mēs nevēlamies nepareizus lēmumus. Labi. Neviens neieradās sanāksmē, cerot uz tiem. Bīstamības analīze jautā, kāds sistēmas stāvoklis padara nepareizus lēmumus ticamākus. Šis jautājums ir noderīgāks un kaitinošāks. Tas norāda uz datu kvalitāti, darbplūsmas dizainu, stimuliem, personāla nodrošinājumu, modeļa darbības jomu, uzraudzību un operatīvo pilnvarojumu. Tas arī sagrauj vairākus skaistus izlaišanas termiņus, un tas ir veids, kā zināt, ka tas darbojas.
Mākslīgā intelekta bīstamības analīzei jābūt balstītai attiecīgajā jomā. Slimnīcas triāžas palīgs, aizdevumu maršrutēšanas modelis, noliktavas plānotājs, koda ģenerēšanas rīks un publisko pabalstu darbplūsma nedalās vienā riska tabulā. Tie dalās drošības paradumos. Nosauciet darbu. Nosauciet skartos cilvēkus. Nosauciet darbību. Nosauciet sekas. Nosauciet pieņēmumus. Nosauciet vietas, kur sistēma var būt nepareiza, novēlota, pārmērīgi izmantota, nepietiekami izskaidrota vai uzticēta nepareiza iemesla dēļ.
Mērķis nav baidīties no katra iespējamā atteices veida. Drošības inženierija nav profesionāla trauksme. Tā ir selektīva nopietnība. Dažas bīstamības ir pelnījušas brīdinājumu. Dažas ir pelnījušas stingru apturēšanu. Dažas ir pelnījušas pārveidi. Dažas ir pelnījušas pieņemšanu ar uzraudzību. Dažas parāda, ka sistēmu nevajadzētu izmantot šai darbībai. Vērtība ir padarīt šo spriedumu skaidru, pirms saskarne liek darbam šķist normālam.
Slāņi pārspēj varonīgu uzraudzību
Viens kontroles pasākums reti ir pietiekams. Aizsargs var atteikties. Kontrolsarakstu var izlaist. Sensors var novirzīties. Recenzents var būt noguris. Modelis var būt pārlieku pašpārliecināts. Politiku var nepareizi interpretēt. Tāpēc drošības inženierija veido slāņus: novērst, atklāt, ierobežot, atjaunot, mācīties. Frāze aizsardzība dziļumā var izklausīties tā, it kā konsultants būtu atklājis bruņas, bet ideja ir vienkārša. Nepaļaujieties uz vienu kontroles pasākumu, lai tas būtu ideāls pasaulē, kas tāda nav.
Mākslīgā intelekta sistēmām ir nepieciešama tāda pati slāņošana. Novēršana var ietvert darbības jomas ierobežojumus, datu validāciju, ierobežotus rezultātus, rīku atļaujas, izguves robežas un darbplūsmas dizainu, kas notur augstas ietekmes darbības tālāk no zemas pierādījumu vērtības rezultātiem. Atklāšana var ietvert noviržu uzraudzību, ticamības kalibrēšanu, anomāliju brīdinājumus, ignorēšanas izsekošanu, pārsūdzību modeļus un avota aktualitātes pārbaudes. Ierobežošana var ietvert ātruma ierobežojumus, pakāpenisku izlaišanu, izlases pārbaudi, cilvēka pārskatīšanu un drošus noklusējumus. Atjaunošana var ietvert atgriešanu, labošanu, paziņošanu un kompensāciju.
Cilvēka uzraudzība pieder slāņu iekšienē, nevis uz pjedestāla virs tiem. Cilvēka recenzents ir spēcīgs, ja saskarne parāda pierādījumus, nenoteiktību, avota aktualitāti, politikas kontekstu un jēgpilnas ignorēšanas iespējas. Tas pats recenzents ir dekoratīvs, ja sistēma slēpj spriedumam nepieciešamo materiālu, virza apstiprināšanas pogu uz priekšu, mēra ātrumu kā tikumu un uzskata domstarpības par ieviešanas neveiksmi. Cilvēks sistēmā nav burvestība. Tā ir darba dizaina problēma.
Šeit ir sausa patiesība: ja drošības pamatojums ir atkarīgs no tā, ka visi vienmēr ir uzmanīgi, tad drošības pamatojums ir vājš. Cilvēki pēc būtības ir mainīgi. Tas ir noderīgi, ja nepieciešams spriedums, un bīstami, ja darbplūsma paļaujas uz modrību, lai kompensētu trūkstošos kontroles pasākumus. Labas sistēmas respektē cilvēka spriedumu, neliekot tam absorbēt katru novēršamo vājību.
Droša atteice atšķiras no pieklājīgas atteices
Daudzas mākslīgā intelekta sistēmas atsakās pieklājīgi. Tās atvainojas, izvairās, piedāvā atrunu vai iesaka konsultēties ar speciālistu. Dažreiz tas ir atbilstoši. Bet drošības inženierija uzdod grūtāku jautājumu: kad sistēma ir nenoteikta, bojāta, ārpus darbības jomas vai tai trūkst pierādījumu, kādā stāvoklī tā pāriet. Vai tā apstājas. Vai tā novirza pie cilvēka. Vai tā samazina iespējas. Vai tā bloķē turpmāku darbību. Vai tā saglabā pierādījumus. Vai tā paziņo kādam, kurš patiešām var rīkoties.
Pieklājīga atbilde joprojām var būt nedroša, ja darbplūsma to uzskata par izmantojamu. Asistents var teikt, ka nav ārsts, tomēr sniegt detalizētu medicīnisku ieteikumu darbplūsmā, kurā lietotājs ir spiediena situācijā. Plānotājs var brīdināt, ka dati ir nepilnīgi, tomēr nosūtīt maršrutu dispečeram. Atbilstības asistents var pievienot atrunu savai atbildei, kamēr darbinieks to iekopē galīgajā vēstulē. Brīdinājumi ir vājas kontroles, ja apkārtējā sistēma atalgo to ignorēšanu.
Droša atteice nozīmē noklusējuma stāvokļa izstrādi nenoteiktībai. Ja ieraksts ir nepilnīgs, sistēma var atteikt galīgo darbību. Ja avota atjauninātība neizdodas, tā var pieprasīt jaunu izguves piegājienu. Ja modeļa atjauninājums nav validēts konkrētai darbplūsmai, tas var darboties ēnas režīmā. Ja pārskatīšanas kapacitāte ir piesātināta, tā var palēnināt pieņemšanu, nevis klusi pazemināt pārskatīšanas kvalitāti. Tas var būt kaitinoši. Kaitinošs ir pieņemams, ja alternatīva ir klusi nedroša.
Būtība ir proporcionalitāte. Ne katra nenoteiktība ir pelnījusi apstāšanos. Zemas ietekmes melnrakstu sagatavošana var pieļaut vairāk elastības nekā atbilstības lēmumi, drošības instrukcijas vai medicīniskā triāža. Nopietns mākslīgais intelekts aizgūst drošības ieradumu saskaņot drošas atteices uzvedību ar sekām. Sistēma, kas aptur visu, kļūst nelietojama. Sistēma, kas neaptur neko, kļūst par saistībām ar izcilu darbspējas laiku.
Drošības pamatojumi ir argumenti ar pierādījumiem
Drošības pamatojums nav mape, kas pierāda, ka visi bija aizņemti. Tas ir arguments, ko atbalsta pierādījumi, ka sistēma ir pieņemami droša noteiktai lietošanai noteiktā kontekstā. Vārdiem noteikta lietošana ir nozīme. Modelis var būt pieņemams iekšējo piezīmju kopsavilkumu veidošanai un nepieņemams automātisku lēmumu pieņemšanai. Maršrutēšanas sistēma var būt droša normālas slodzes apstākļos un nedroša ārkārtas pārslodzes laikā. Klasifikators var būt derīgs vienai populācijai un nepārbaudīts citai. Drošība ir kontekstuāla, nevis smaržas.
Mākslīgajam intelektam ir vajadzīgi drošības pamatojumi, jo tikai modeļa veiktspēja ir pārāk šaurs rādītājs. Etalontests var parādīt, ka komponents labi darbojas uz datu kopas. Tas nepierāda, ka datu cauruļvads ir aktuāls, ka saskarne atbalsta spriedumu, ka darbplūsmai ir atkopšanās mehānisms, ka operatori ir apmācīti, ka politika ir spēkā esoša, ka piegādātāja atkarība ir ierobežota vai ka organizācija spēj novērst kaitējumu. Nopietna garantija savieno komponentu pierādījumus ar darbības pierādījumiem.
Pierādījumi var būt dažādi: novērtēšanas rezultāti, sarkanās komandas atzinumi, kalibrēšanas pārbaudes, datu kvalitātes testi, apdraudējumu žurnāli, lietojamības pētījumi, incidentu mācības, atkopšanās testi, piekļuves pārskati, uzraudzības informācijas paneļi, pārsūdzību analīze un revīzijas ieraksti. Neviens no tiem atsevišķi nav brīnumlīdzeklis. Kopā tie pamato apgalvojumu, ka sistēma ir piemērota konkrētam uzdevumam. Ja uzdevums mainās, jāmainās arī drošības pamatojumam. Ja konteksts mainās, tas ir jāpārskata. Ja neviens par to neatbild, tas ir artefakts, nevis garantija.
Šeit drošības inženierija ienes vēlamo disciplīnu. Tā liek komandām saistīt apgalvojumus ar kontroles pasākumiem un kontroles pasākumus ar pierādījumiem. Apgalvojums nosaka, ka lēmumi ar augstu ietekmi saņem jēgpilnu pārskatīšanu. Kontroles pasākums nosaka, ka saskarne pieprasa avota pierādījumus un pārrakstīšanas iemeslus. Pierādījumi liecina, ka izlases veidā pārbaudīts, ka recenzenti izmanto pierādījumus un ka pārrakstīšanas modeļi tiek pārskatīti katru mēnesi. Šī ķēde ir mazāk aizraujoša nekā atbildīga mākslīgā intelekta pieminēšana. To arī ir daudz grūtāk viltot.
Izmaiņu kontrole ir drošības darbs
Mākslīgā intelekta sistēmas mainās tādos veidos, kurus ir pārāk viegli novērtēt par zemu. Mainās modeļa versija. Tiek atsvaidzināts izguves indekss. Tiek rediģēta uzvednes veidne. Mainās slieksnis. Piegādātājs maina augšupējo taksonomiju. Komanda pievieno jaunu dokumentu avotu. Vadītājs paplašina darbplūsmu no ieteikuma uz lēmumu, jo izmēģinājums noritēja labi un kalendāri bija pilni. Katra izmaiņa var šķist neliela. Kopā tās var izvirzīt sistēmu ārpus tās drošības pamatojuma.
Drošības inženierija izmaiņas uzskata par riska brīdi. Ne tāpēc, ka izmaiņas būtu sliktas, bet tāpēc, ka izmaiņas lauž pieņēmumus. Nopietnam mākslīgajam intelektam ir vajadzīgs tas pats ieradums. Kuru apgalvojumu šīs izmaiņas ietekmē. Kuri apdraudējumi kļūst ticamāki. Kuri testi jāveic atkārtoti. Kuriem lietotājiem jāpaziņo. Kuri ieraksti saglabā iepriekšējo stāvokli. Kurš atrites ceļš pastāv. Kuri rādītāji jāuzrauga pēc izlaišanas. Ja atbilde ir "neviens nezina", izmaiņas nav nelielas. Tās vienkārši nav dokumentētas.
Versiju pārvaldība ir daļa no šīs disciplīnas. Lēmumiem būtu jāzina, kura modeļa, uzvednes, datu avota, politikas, sliekšņa un saskarnes versija bija aktīva. Bez versiju ierakstiem organizācijas vērtē vakardienas rīcību, izmantojot šodienas neredzamo kontekstu. Tā nav atbildība. Tas ir ceļojums laikā ar izklājlapu, un izklājlapām jau tā ir pietiekami daudz nastu.
Izmaiņu kontrole aizsargā arī inovāciju. Komandas var pilnveidoties ātrāk, ja zina, kā ierobežot uzlabojumu. Ēnu režīma testi, pakāpeniska izlaišana, kanāriju grupas, atgriešanās kritēriji un pēcizmaiņu pārskats ļauj organizācijai mācīties, neriskējot ar visu darba plūsmu cerīga labojuma dēļ. Drošības inženierija nav iterācijas ienaidnieks. Tā ir iemesls, kāpēc iterācija var notikt ar reāliem cilvēkiem, neizturoties pret viņiem kā pret testa objektiem.
Gandrīz notikušas kļūmes ir dāvana, ja tās netiek sodītas
Drošības kultūrās gandrīz notikusi kļūme ir vērtīga. Tas ir notikums, kas varēja nodarīt kaitējumu, bet to nedarīja, bieži vien nejaušības, cilvēka sprieduma vai kontroles iejaukšanās dēļ. Arī AI darbībā ir gandrīz notikušas kļūmes. Recenzents pamana nepareizu ieteikumu. Lietotājs ievēro, ka trūkst avota. Modelis atsakās no uzdevuma, uz kuru reiz būtu atbildējis. Apelācija atklāj, ka ticamības slieksnis vienam gadījuma tipam darbojies nepareizi. Tās nav kaitinošas lietas, ko slēpt. Tie ir lētākie mācību avoti, ko sistēma piedāvās.
Organizācijas bieži iznieko gandrīz notikušas kļūmes, jo tās uzskata par atsevišķām novirzēm. Darbinieks bija uzmanīgs. Lietotājs bija apmulsis. Modelim bija dīvaina diena. Rinda bija neparasti pilna. Varbūt. Bet labāks jautājums ir, ko gandrīz notikusī kļūme atklāj par sistēmas dizainu. Vai pierādījumu panelis bija pārāk vājš. Vai avots bija novecojis. Vai ignorēšanas ceļš bija neskaidrs. Vai slieksnis bija noregulēts uz nepareizas populācijas. Vai recenzentam bija laika spiediens. Vai modelis tika izmantots ārpus tā darbības jomas.
Ziņošanai jābūt vieglai un drošai. Ja ziņošana par gandrīz notikušu kļūmi rada karjeras risku vai administratīvu grūtību, cilvēki paturēs mācību pie sevis. Tas nav tāpēc, ka cilvēki būtu bezatbildīgi. Tas ir tāpēc, ka viņi ir racionāli un viņiem ir e-pasts. Labs ziņošanas ceļš ir tuvu darbam, ātri lietojams, skaidrs par atbildību un saistīts ar redzamām izmaiņām. Cilvēki ziņo vairāk, ja ziņojumiem ir nozīme.
Gandrīz notikušām kļūmēm nepieciešama arī analīze, kas pārsniedz vidējos rādītājus. Dažas nopietnas gandrīz notikušas kļūmes vienā apakšgrupā var pazust kopējā sniegumā. Reta robežgadījums var nest lielas sekas. Atkārtota neliela kļūme var liecināt par novirzi. Drošības inženierija māca, ka incidentu dati nav tikai skaits. Tie ir karte, kur pieņēmumi sastopas ar realitāti un sūdzas.
Cilvēka faktors nav vājums
Drošības inženierija uztver cilvēka faktoru nopietni, jo cilvēki neuzvedas kā politikas dokumenti. Viņi nogurst. Viņi pielāgojas. Viņi steidzas. Viņi izlaiž soļus, kas šķiet nederīgi. Viņi ievēro noklusējumus. Viņi uzticas gludām saskarnēm. Viņi izvairās ziņot, ja ziņošana viņus soda. Viņi veido apiešanas ceļus, ja oficiālais ceļš nav iespējams. Tas nav cinisms. Tā ir operacionālā pratība.
Mākslīgā intelekta sistēmas pastiprina cilvēciskos faktorus, jo mašīna bieži izklausās pārliecināta. Ieteikums ar zaļu nozīmīti, ģenerēts skaidrojums un noklusējuma pogas “Apstiprināt” izveidošana var radīt autoritāti, pirms kāds cilvēks ir pieņēmis patiesu spriedumu. Ja organizācija stingri mēra caurlaidību, cilvēks sistēmā ātri iemācīsies, ko sistēma patiesībā vēlas. Cilvēki lieliski nolasa stimulus. Viņiem nav vajadzīgs biroja rīkojums.
Tāpēc dizainā jāiekļauj laba berze. Pierādījumiem jābūt redzamiem tur, kur notiek sprieduma pieņemšana. Nenoteiktībai jābūt konkrētai, nevis vispārīgai. Pārrakstīšanai jābūt iespējamai un normālai. Darbībām ar augstām sekām jāprasa nepārprotama rīcība. Pārskatīšanas rindas jāveido atbilstoši reālajam darba apjomam, nevis fantāzijai, ka uzmanība ir neierobežota. Apmācībā jāizmanto reāli gadījumi, tostarp neērti robežgadījumi, nevis tikai spožie piemēri, kas uz divdesmit minūtēm liek visiem justies spējīgiem.
Cilvēciskie faktori nozīmē arī to, ka drošu rīcību padara vieglāku nekā nedrošu. Ja pareizais ceļš ir lēns, slēpts vai sociāli sodīts, organizācija ir veidojusi dizainu pret drošību, vienlaikus par to runājot. Drošības inženierijai šeit ir skarba mācība: sistēmas māca uzvedību. Saskarnes, rādītāji, rindas un stimuli māca ticamāk nekā plakāti.
Neatkarībai ir nozīme
Nozarēs, kur drošība ir kritiska, lomas bieži tiek nošķirtas. Cilvēks, kurš būvē sistēmu, nav vienīgais, kurš uzņemas risku. Komanda, kas ekspluatē sistēmu, nav vienīgā komanda, kas izmeklē nopietnus incidentus. Piegādātāja apgalvojums nav tas pats, kas neatkarīgi pierādījumi. Arī mākslīgajam intelektam ir vajadzīga šāda nošķiršana, atbilstoši sekām. Neatkarība nav aizdomas. Tā ir kontrole pret to, ka visi tik ļoti vēlas, lai palaišana izdotos, ka vāji pierādījumi sāk šķist pietiekami.
Neatkarīga pārskatīšana var izpausties dažādi. Otra komanda pārskata apdraudējumu analīzi. Nozares īpašnieks apstiprina atļauto lietojumu. Drošības komanda testē piekļuves ceļus. Datu īpašnieks pārbauda avotu kvalitāti. Atbilstības komanda pārbauda pierādījumu ierakstus. Ārējais auditors izlases veidā pārbauda lēmumus. Lietotāji piedalās lietojamības testēšanā. Mērķis nav pievienot teātri. Mērķis ir dot drošības lietai cilvēkus, kuriem ir atļauts būt neērtiem.
Neatkarība attiecas arī uz uzraudzību. Piegādātāja informācijas panelis var būt noderīgs, taču kritiskiem pierādījumiem nevajadzētu pilnībā būt atkarīgiem no novērtējamā piegādātāja. Žurnāli, lēmumu ieraksti, novērtēšanas rezultāti un incidentu ziņojumi jātur organizācijas kontrolē tur, kur to prasa pienākums. Ja vienīgais drošības pierādījums ir panelis, kuru nevar neatkarīgi atkārtoti atskaņot, sistēma prasa uzticēšanos tur, kur tai būtu jāsniedz pierādījumi.
Piemērotais neatkarības līmenis ir atkarīgs no riska. Melnrakstu palīgs neprasa tādu pašu mehānismu kā atomelektrostacija, teikums, kam vajadzētu mierināt visus, tostarp atomelektrostacijas. Taču mākslīgo intelektu ar augstām sekām nedrīkst atzīt par drošu tas pats entuziasms, kas to palaida. Drošības inženierija to zina. Mākslīgā intelekta pārvaldība joprojām mācās, dažkārt ar ļoti pārliecinošām prezentācijām.
Ko nopietns mākslīgais intelekts ņem līdzi
Nopietns mākslīgais intelekts pārņem drošības inženierijas ieradumu padarīt kļūmes konkrētas. Nosauciet apdraudējumu. Novietojiet kontroles vairāk nekā vienā līmenī. Izstrādājiet drošas atteices stāvokļus. Veidojiet drošības lietu ar pierādījumiem. Uztveriet izmaiņas kā riska brīdi. Mācieties no tuvu pieļautām kļūdām. Cieniet cilvēciskos faktorus. Saglabājiet neatkarīgus ierakstus. Dodiet cilvēkiem pilnvaras apturēt, labot un uzlabot sistēmu.
Neviens no šiem soļiem neliek mākslīgā intelekta riskam pazust. Drošības inženierija nesola pasauli bez kļūmēm. Tā sola pasauli, kurā paredzamas kļūmes tiek uztvertas nopietni, pirms tās kļūst par virsrakstiem, kurā kontroles tiek pārbaudītas, kurā pierādījumi saglabājas un kurā organizācija mācās, nevis tikai atvainojas ar labāku tipogrāfiju.
The yellow line on the factory floor was not sophisticated. That was the point. It made a boundary visible, connected the boundary to a control, and gave the machine a safer response than hoping the visitor remembered a briefing. AI needs more of that plain discipline. Not less ambition. Better boundaries for ambition.
There will always be systems that sound safe because they can explain themselves politely. Serious systems are safer because they know when politeness is not enough. They stop, route, record, recover, and learn. That is not a slogan. It is the machinery safety engineering has been offering all along.