Kako izmjeriti rizik boljim OKR-om.

Postao sam veliki obožavatelj cilja i rezultata (OKR) u tvrtkama koje ih shvataju ozbiljno. Opisat ću uvjerljivu metodu koja se uklapa u OKR i mjeri smanjenje (ili povećanje) odabranog rizika. To će obavijestiti odluku tima da smanji ili poveća inženjerske napore kako bi ublažio taj rizik naprijed.

Ova je metoda slična načinu na koji meteorolog predviđa vrijeme.

Za duboke zarone u OKR-ove možete ovo pročitati, pogledati ili pročitati.

OKR su jednostavan način za izražavanje motivacijskog cilja i zalaganje na kratkom popisu mjerljivih ishoda koji guraju grupu ka tom cilju. Ponekad prelaze iz izvršnog menadžmenta na sve zaposlenike. OKR su uobičajena praksa tehnoloških kompanija i mnogih sigurnosnih timova s ​​kojima radim.

Uzmimo, na primjer:

Cilj: Poboljšati provjeru autentičnosti prijenosnih prijenosnih računala u proizvodnju.

Ovaj cilj nije loš, ali su propuštene mnoge mogućnosti mjerenja rizika.

Smanjit ćemo rijedak, utjecajan rizik mjerljivom metodom.

Ovu je vrstu rizika obično teško izmjeriti.

Povijesni podaci (nikada se nisu dogodili) slabo govore o našoj budućnosti (bi li se to moglo dogoditi?).

Metodama predviđanja i procjene možemo izmjeriti koliko je vjerovatno da bi se mogao dogoditi budući scenarij, čak i ako nam nedostaju povijesni podaci za taj scenarij u prošlosti. Mi koristimo "neizvjesnost" grupe kao posrednika za rizik, a mi ćemo je izmjeriti. Uspjet ćemo kognitivne pristranosti povezane s prognozama.

CILJ: Napisati cilj s „scenarijem rizika“.

Vaš je cilj smanjiti rizik koji se izražava u scenariju.

Ispod je gore spomenuti cilj koji je napisan za smanjenje rizika. Napisano je s malo prostora za poboljšanje:

Cilj: Poboljšati provjeru autentičnosti prijenosnih prijenosnih računala u proizvodnji.

To nije nužno loš cilj, ali može se poboljšati prepisivanjem kao scenarijem.

Cilj: Smanjiti rizik "Protivnik je pristupio proizvodnji s prijenosnog računala za razvojne programere u Q3."

Izgledaju slično, zar ne?

  • Glavna je razlika što je scenarij vjerojatan. Protiv vjerojatnih izraza može se predvidjeti. Prognoziranje je dobro istraženo, uobičajeno shvaćeno (na primjer: vremenske prilike), kvantitativno i mjeri vašu nesigurnost.

Nesigurnost je ona stvar u vašem mozgu koja vas natjera da slegnete ramenima prema određenim opcijama ili snažno osjetite neku od njih. Kako se ispostavilo, neizvjesnost grupe može se izmjeriti izravno. Neizvjesnost stručnjaka učinit ćemo proxyjem za naš cilj mjerenja.

  • Mala je razlika što scenarij nagrađuje kreativnost inženjera.

Na primjer, poboljšava li broj programera koji zahtijevaju proizvodne vjerodajnice, provjeru autentičnosti? Ne, to doseže malo. Ali to bi smanjilo rizik, a ključni rezultat je kompatibilniji s modificiranim ciljem. To je bio bolji cilj, tako da će možda naši ključni rezultati biti bolji kao rezultat.

Cilj "scenarija rizika" ne propisuje rješenje. Jednostavno postavlja čistu prognozu. Scenarij može učiniti bolji posao definirajući rizik kao budući događaj koji treba izbjegavati.

Dobar predvidljivi scenarij uključuje promišljeni spoj prijetnje, vektora, imovine ili utjecaja. Možete kreativno odlučiti o određenom opsegu ili riziku dodavanjem sužavajućih ili proširivih specifičnosti. Prognoza mora odlučivati ​​o konkretnom vremenskom okviru.

KLJUČNI REZULTATI: Odaberite prekretnice ili mjerne podatke i počnite prognozirati.

Prvo, jednostavne stvari. Ključni rezultati moraju biti mjerljivi. U ranim danima Googlea, Marisa Meyer rekla je:

"To nije ključni rezultat ako nema broj."

Jedan jednostavan oblik mjerenja su binarna dostignuća: 1 za gotovo, 0 ako nije učinjeno. Na primjer: „Dodali smo XYZ poslovnu aplikaciju našoj platformi Single Sign On“. Ako ste to učinili, dobivate "1"!

Drugi je odabir kvantitativnih mjernih podataka poput "popraviti X bugove" ili "smanjiti X incidente" ili "zaposliti N inženjere". Oni su potrebni, zajednički i predstavljaju ciljeve projekta i operativne metrike. Na ovo ste vjerojatno navikli. I oni mogu dati lijepe ključne rezultate.

Međutim, oni stvarno ne mjere smanjenje rizika povezanog s našim scenarijem. Oni su zaostali pokazatelj obavljenog posla. Ovaj je rad stvorio vrijednost u ublažavanju rizika, ali još uvijek niste mjerili smanjenje rizika. Jednostavno pretpostavljate da se rizik smanjuje, zbog vaših napora.

Ali koliko? Što ako se zapravo poveća?

Usporedba sigurnosne metrike i mjerenja sigurnosti

Tradicionalne sigurnosne metrike vrlo su korisne zbog svoje informativne vrijednosti. Obavještavaju našu nesigurnost u vezi s rizikom, ali ne predstavljaju vjerojatnu prirodu rizika i često ne izražavaju ogromne nesigurnosti koje možemo imati o određenom scenariju.

Na primjer, vjerujem da povijesni broj ranjivosti ili učestalost regresije ne izražava izravno rizik, ali svakako pomaže informirati moju nesigurnost u vezi s tim da li će se pojaviti pridruženi scenarij ili ne kao rezultat tih podataka.

To je zato što je vrijednost koju dodijelimo pojedinoj metriki u stalnom toku.

Bilo koja specifična metrika može biti moja najinformativnija točka podataka ... sve dok je nešto ne zamijeni. Moja bi presuda omalovažila bivše podatke odmah nakon što čujem nove informacije koje vrište „oh sranje“ na lice mjesta ili bilo koji krhki model koji smo pokušali stvoriti po tom pitanju.

A sada prijeđimo na "težak dio". Napravimo ovo OKR.

To je zapravo vrlo jednostavno kada se spustite.

Primjer OKR dizajniran za mjerenje:

Kao što je spomenuto, mi ćemo izgraditi ovaj OKR tako da je kompatibilan za mjerenje rizika s tehnikama predviđanja i procjene.

Evo primjera OKR za mali sigurnosni tim AWS-a:

Cilj:

Smanjite vjerojatnost da su „QP proizvodne vjerodajnice bile izložene javnosti u Q3“.

Ključni rezultati:

  1. Radovi u kojima se spominje AWS_SECRET_KEY prikazuju se u zastoj #security.
  2. Cevovod za povrat fotonapisa bit će premješten u ulogu AWS.
  3. Kompletan cjevovod za uzbunjivanje majmuna za otkrivanje u toku.
  4. Dovršite prije i poslije prognoze i CloudTrail lov.

Prvi ključni rezultati (1–3) ne zahtijevaju raspravu. To su samo pokrenuti mlinski radovi i možete odabrati što god želite. Posljednji ključni rezultat (# 4) fokusirat ćemo se naprijed.

Za mjerenje ovog scenarija rizika koristit ćemo ploču s prognozama. To će poboljšati našu sposobnost za vjerojatnost mjerenja OKR-ovog osnovnog scenarija rizika.

1. Prije nego što započnete s radom: "Osnovna" prognoza.

Pretpostavimo da je ovo OKR za treće tromjesečje. Početkom lipnja, nekoliko raznolikih i obučenih pojedinaca upoznatih s OKR-om predvidjet će vjerojatnost da će se scenarij dogoditi u vjerojatnom smislu (postotak vjerovanja).

Naši sudionici su Majmun (), Jednorog (), Krava () i Pingvin (). Ukratko ih kalibriramo da razmišljaju u vjerojatnom smislu (internetski trening). Imaju pristup svim mjernim podacima, modelima, obdukcijama, reviziji konzultanata ili infrastrukturnim dijagramima koji su dostupni. Sve je to korisno i obavještava svoju prognozu.

Gornja prognoza ima 78-postotnu sigurnost da CloudTrail lov neće otkriti nijednog incidenta. Postoji 14% sigurnost da bi incident mogao biti otkriven i 6% sigurnost da ćemo biti u velikim problemima.

Sad, uzmite u obzir da bi odgovor od 33% s ploče za svaku kategoriju ukazao na potpunu nesigurnost, kao da doslovno nemaju nikakve informacije ili mišljenje. Scenarij je, primjerice, mogao biti napisan na nekom drugom jeziku. To ovdje nije slučaj, sudionici ne vjeruju da je svaka opcija jednaka drugoj. Smatraju da je vrlo vjerojatno da se neće dogoditi nikakav incident s obzirom na njihovo znanje o okolišu i moguće prijetnje.

Dakle, ovaj panel izražava mišljenje s vjerojatnošću da najvjerojatnije neće biti incidenta u tom vremenskom okviru. Ali, incident koji se otkriva ne dolazi u obzir potpuno. To se događa u mnogim drugim tvrtkama. Moraju vjerovati da postoji mala vjerojatnost da bi se to moglo dogoditi.

U stvari, panelistica (Majmun ) izgleda sigurnija da će se nešto pronaći.

U redu je da majmun opinion ima različita mišljenja u grupi. O tome ćemo kasnije raspravljati - ploča se ne treba složiti!

2. Sada radite svoj posao, napredujte kao i obično.

Sredina tromjesečja fokusirana je na ispunjavanje ciljeva kao i obično. Samo radite.

Kako su nam ciljevi naveli, tim izrađuje upozorenje, ponovo sastavlja aplikaciju za korištenje AWS uloga i raspoređuje Security Monkey. Nadam se da im dobro ide i da su ih sve dovršili!

Ova metoda nema utjecaja na svakodnevni posao koji obavljate. To jednostavno vodi rad k mjerljivom ishodu. Napadnite na rizik koliko god obično bi.

3. EOQ. Napredovali smo! Sada uspoređujemo s osnovnom linijom.

Obvezali smo se da ćemo na kraju tromjesečja raditi dvije stvari.

Prvo, ulažemo napore u lov na CloudTrail zapisnike sa pomnom kontrolom i vidimo možemo li izvući bilo kakve incidente P0 iz svojih istražnih napora.

Drugo, panel ponovno mjeri mjere, osim naše nesigurnosti za sljedeće tromjesečje (Q4).

Naša ploča je naoružana novim saznanjima. Napredak ove četvrtine i rezultat pretraživanja CloudTraila uvelike su izmijenili naša mišljenja o ovom scenariju.

Pretpostavimo da je tim uspio u svojim drugim ključnim rezultatima, a procjena povrede vratila se čistom.

Opet prognoziramo. Evo rezultata.

Sada možemo promatrati koliko je sigurnosti ploča stekla ili izgubila na temelju svojih napora. U ovom su primjeru naša uvjerenja išla još više prema sigurnosti (daleko od 33%). Je li naš rad utjecao na sigurnost našeg panela? Ovaj panel vjeruje u to.

U ovom slučaju poboljšali smo našu sigurnost oko ovog rizika. Imamo kvantitativno poboljšanje od 5% u pravom smjeru.

4. Donesite odluku vodstva vođenu podacima.

Sada ste naoružani za učinkovito odlučivanje.

Čini se da predviđa kršenje u jednom od svakih deset tromjesečja.

  • Je li to dovoljno dobro?
  • Želimo li to dodatno poboljšati ili zaposljavamo druge rizike?
  • Koji je naš prihvatljivi prag?
  • Koliki trud i resursi trebaju da ga nadmašimo?

Zašto takav pristup?

Ljudi su izgrađeni za obradu različitih izvora informacija i brzo apsorbiraju nove informacije za donošenje odluka.

Kroz tromjesečje ćemo nesumnjivo dobiti informacije koje mijenjaju našu razinu sigurnosti u vezi s rizicima koje smo odabrali.

Te informacije dolaze s brojnih mjesta: praktični rad, industrijski trendovi, kršenja pravila, možda izvještaji o ranjivosti u drugim područjima infrastrukture, vlastita istraživanja eksploatacije, tweetovi o otkrivanju bombi itd.

Međutim, naše povjerenje u ove izvore informacija je dinamično. Ne možemo ovisiti o pojedinačnim statičkim mjernim podacima koji će predstavljati naš rizik, jer se vrijednost njihova odlučivanja brzo mijenja. Mogli bismo koristiti vlastitu sigurnost kao proxy za ove rizike, za koje se zna da su mjerljivi, dobro istraženi, s povećanjem smjernica o poboljšanju metoda predviđanja kao mjernog instrumenta.

U stvari, zanimanje stručnjaka važan je čimbenik vjerojatnih procjena rizika u drugim industrijama, kao što su nuklearna, zrakoplovna i okolišna.

Nije novo, samo novo za nas.

Izolirajući protiv rizika pristranosti.

Prognoza je opasna kada joj se ne pristupa strogo. Kognitivna pristranost dobro je istražena i te nalaze je potrebno često ponavljati. Postoje različita ublažavanja zbog rizika lošeg predviđanja.

Istraživanje brani da se predviđanje može poboljšati kada:

  1. Panelisti su osposobljeni razmišljati vjerovatno i o pristranosti.
  2. Panelisti su udruženi radi kombiniranja i ublažavanja utjecaja pristranosti. Raznolikost u perspektivi je ključna!
  3. Panelisti se više puta suočavaju s ishodom svojih predviđanja (Umjeravanje). (Internetski trening, otvorena dobra prosudba, kalibracija samopouzdanja)
  4. Poziva se paneliste da scenarij razgrade u detaljnije dijelove i dobiju im transparentan pristup dostupnim podacima koji su im potrebni za razumijevanje.
  5. Čvrsto razumijevanje pravog "Crnog labuda". Obmanjuju prognozere.
  6. Ne pokušavajte predvidjeti i ublažiti svaki rizik, budite spremni na neizbježni neuspjeh.
  7. Odvojite promociju i plaće od rezultata OKR i predviđanja kako biste izbjegli vreću s pijeskom, što je već problem u upravljanju radnim učinkom.

Jednostavno traženje panelista od kandidata za "brzo razmisli!" Sigurno će ti dati loše rezultate. Strog pristup ima veće troškove mjerenja (sastanaka), ali daleko je lakši od metoda s ružnom matricom rizika.

Ali ... uvijek "pretpostavim prekršaj", pa to ne funkcionira!

Potpuno je ispravno pretpostaviti da ste prekršili. Dao bih svakoj organizaciji vrlo visoku vjerojatnost (99%) da negdje, u bilo kojoj ozbiljnosti, ima nekakvu protivničku aktivnost u sustavu koji posjeduju. To za mene znači "pretpostaviti kršenje".

Međutim, nezdrav je vjerovati da svaki protivnik u bilo kojem trenutku ugrožava svaku komponentu svakog sustava. Racionalni ljudi, čak i FUD-ovci, ne idu tako duboko u kraj.

Duboko pesimističan um koji je racionalan i dalje ostavlja prostora sumnji, samo manje-više od ostalih. Ako vjerujete da će napori pojedinaca poboljšati rizike, to smanjenje nesigurnosti možete izmjeriti u vjerojatnom smislu. Pesimist zasigurno ne vjeruje da, primjerice, njihov posao pogoršava stvari.

Ukratko, čak se i pesimistička osnovna vrijednost može poboljšati, a imati nekoliko pesimista na tribini zapravo je vrlo, vrlo dobra stvar.

Budućnost procjene i prognoziranja rizika

Tijekom mnogih četvrtina, još više možemo poboljšati vjerojatnu metodu. Možemo uvesti crvene timove, ocjene brijača i uzorkovanje u industriji koji će voditi naše prognoze. Možemo se složiti oko vrijednosti podataka i gledati ga kako varira. Možemo "Chatham House" ili anonimizirati prognoze da bi ih dijelili s vršnjačkim timovima sigurnosti.

Rezultate prognoze možemo pohraniti simulacijama Monte Carla, omogućujući nam da izvučemo lekcije i stručnost iz NASA-e, nuklearnog licenciranja i drugih područja koja su veća od kibernetičke sigurnosti u razumijevanju ekstremnih rizika.

Mnogo je prilika za organizacije da usvoje praksu predviđanja rizika. Neizmjerna energija nije potrebna da bi dala dobre rezultate. Ako započnemo s malim, poput OKR-ova utemeljenih na riziku, može se demonstrativno smanjiti rizik za vašu organizaciju i staviti vašu organizaciju na put prema kvantitativnom riziku.

Zaključak

OKR su uobičajeni način vođenja inženjerskog tima. Stvaranje OKR-ova koji su kompatibilni s tehnikama procjene i predviđanja može nam omogućiti bolje mjerenje napretka u smanjenju rizika.

Ove metode ne ometaju "kako" tim radi svoj posao, on jednostavno mjeri "koliko" se može promijeniti kao rezultat. Ako trenutno nemate metodu za mjerenje rizika, tada bi svaka kvantitativna metoda trebala biti bolja od one koju imate. Ova strategija ima minimalan utjecaj na inženjersku praksu, istovremeno usklađujući tim s mjerljivom stopom smanjenja rizika.

Daljnje čitanje

Prognoza rizika: prezentacija na visokoj razini o ovoj metodi.

Jednostavna analiza rizika: duboko ronjenje na prognoziranje rizika.

Ubijanje malo piletine: istraživanje ograničenja i mogućnosti predviđanja rizika.

Dekompozicija sigurnosnog rizika u scenarije: Rastavljanje rizika u hijerarhiju scenarija, iz širokog u detaljnije scenarije.

Razmišljanje brzo i sporo: Nobelovo nagrađivano istraživanje ljudskih pogrešaka spoznaje, uglavnom u obliku pristranosti.

Superforecast: Istraživanje kako se pogreške kognitivnih funkcija mogu ublažiti i oružanim snagama pretvoriti u učinkovite prognozirajuće timove.

Kako izmjeriti bilo što u riziku od cyber-sigurnosti: izvrstan izvor u obrani od predviđanja kao metode mjerenja. Snažna rasprava koja promiče ulogu mjerenja u odlučivanju.

Ryan McGeehan piše o sigurnosti na Mediumu.