Dne 31. března byly zveřejněny výsledky posledního kola hodnocení bezpečnostních řešení MITRE ATT&CK®. Letos bylo 30 bezpečnostních řešení od předních společností, zabývajících se kybernetickou bezpečností, včetně společnosti Bitdefender, testováno na schopnost odhalit taktiky a techniky týmů Wizard Spider a Sandworm Team.
Toto 4. kolo hodnocení MITRE se zaměřilo na techniku Data Encrypted for Impact (T1486). Útočníci mohou šifrovat data v cílových systémech, nebo ve velkém počtu systémů v síti, aby přerušili dostupnost systémových a síťových zdrojů. Jako zástupce odvětví ransomwaru byl vybrán Wizard Spider, známý díky malwaru Ryuk (S0446) a Conti (S0575). Sandworm Team, známý díky malwaru NotPetya (S0368), představuje zákeřnější škodlivý software typu wiper, jehož cílem je způsobit nenapravitelné poškození. Oba výběry jsou velmi aktuální - ransomware Conti je po nedávném úniku podrobně zkoumán bezpečnostními analytiky, zatímco wipery jako NotPetya jsou běžně nasazovány na Ukrajině uprostřed probíhající války.
V čem jsou hodnocení MITRE ATT&CK® jedinečná a cenná?
Na trhu plném reklamních proklamací je velmi důležité ověřit schopnosti pomocí nezávislého testování prováděného třetí, nezávislou stranou. AV-Comparatives a AV-TEST jsou jedny z nejznámějších organizací, pokud jde o hodnocení bezpečnostních řešení, a hodnocení MITRE Engenuity ATT&CK® Evaluations si získává stále větší oblibu mezi dodavateli a odborníky v oblasti zabezpečení.
Posouzení ATT&CK® je v mnoha ohledech výjimečné. Namísto testování schopnosti řešení blokovat kybernetické hrozby, emuluje organizace MITRE kompletní chování zkušených útočníků, pokud by se jim podařilo projít vrstvami prevence. Za tímto účelem je blokační chování, neboli preventivní schopnosti testovaného bezpečnostního řešení, vypnuto, aby se hodnocení mohlo zaměřit na detekční, telemetrické a analytické schopnosti. Rámec znalostní báze ATT&CK® se využívá k vytvoření společného slovníku a sjednocení informací pro všechny hodnocené dodavatele.
Zorientovat se ve výsledcích hodnocení ATT&CK® může být náročné, protože organizace MITRE Engenuity nezveřejňuje srovnávací analýzu, ale nechává ji na posouzení jednotlivců. Neexistují žádné skóre, pořadí ani hodnocení. Místo toho hodnocení ukazuje, jak jednotliví dodavatelé přistupují k detekci hrozeb v kontextu znalostní báze ATT&CK®. Poskytnuté výsledky jsou rozsáhlé a bez konkurenčních žebříčků je obtížné se v nich orientovat, díky více možným interpretacím. Analytici společnosti Forrester výstižně shrnuli problémy marketingového hodnocení ATT&CK v blogu "Winning" MITRE ATT&CK, Losing Sight Of Customers.
Nejdůležitějším konkurentem všech účastníků hodnocení ATT&CK jsou původci hrozeb. Hodnocení ATT&CK pomáhají dodavatelům bezpečnostních nástrojů poučit se z těchto cvičení, a zlepšit tak své bezpečnostní nástroje. Ve společnosti Bitdefender jsme velmi hrdí na to, že více než třetina zúčastněných dodavatelů si od nás licencuje jednu nebo více technologií, což potvrzuje hodnotu našich technologií a odborných znalostí.
Jak posoudit kvalitu detekce?
Absence konkurenčních žebříčků je neobvyklou vlastností hodnocení ATT&CK®, ale neměla by komunitu kybernetické bezpečnosti odradit od toho, aby věnovala čas porozumění výsledkům. Výsledky poskytují vynikající zdroj pro pochopení chování testovaných řešení, a doplňují tak další zprávy, vypracované nezávislými organizacemi a subjekty.
Scénáře hodnocení ATT&CK® letos obsahovaly 109 dílčích kroků, které pokrývaly širokou škálu taktik a technik ATT&CK®. Jedním z nejjednodušších způsobů, jak si představit taktiky a techniky zahrnuté do aktuálního kola hodnocení ATT&CK® , je použití ATT&CK® Navigatoru - webového nástroje společnosti MITRE pro vizualizaci matice ATT&CK®.
ATT&CK® Navigator s aplikovanou vrstvou pro aktuální sérii hodnocení ATT&CK®. Vodorovné sloupce představují taktiky, svislé řádky techniky, různé barvy označují techniky používané jednou (nebo oběma) škodlivými skupinami. Zdroj: MITRE
Pro každý z dílčích kroků je uvedena nejvyšší dosažená kategorie detekce. Kategorie detekce říká, zda má bezpečnostní řešení schopnost zobrazit chování (telemetrie), zda má analytické schopnosti, které vám řeknou, čeho se útočník snažil dosáhnout (taktika), nebo zda poskytuje podrobnosti o tom, jak byla akce provedena (technika).
Zdroj: MIT
Organizace MITRE poskytuje některé informační zdoje, které vám pomohou s interpretací výsledků, nebo se můžete připojit k našemu nadcházejícímu webináři 2022 MITRE Engenuity ATT&CK® Evaluations: Dekódování výsledků, který se zaměří na interpretaci a pochopení výsledků hodnocení 2022 ATT&CK® Evaluations (proběhlo 6.4.2022, jakmile bude k dispozici záznam, doplníme článek o odkaz).
Výsledky Bitdefenderu
Za každý z dílčích testovacích kroků MITRE obdrží dodavatelé jednu z následujících "známek".
None (Žádné) - Žádné rozpoznání tohoto dílčího kroku nebo nižší než minimální požadované údaje
Telemetry (Telemetrie) - informace týkající se dílčího kroku byly shromážděny, ale nebyly interpretovány (pouze syrová data).
General (Obecné) - Dílčí krok je podezřelý, ale nejsou k dispozici žádné další podrobnosti. Do této kategorie spadají detekce antimalwaru (bez dalšího kontextu).
Tactic (Taktika) - dílčí krok byl identifikován jako škodlivý. Dodavatel ví, CO se stalo, ale neví, JAK se to stalo. Například je zjištěn postranní pohyb z bodu A do bodu B, ale není jasné, jak se původci ohrožení pohybovali mezi jednotlivými segmenty.
Technique (Technika) - Dodavatel rozumí tomu, CO a JAK se stalo. Například je zjištěn postranní pohyb z místa A do místa B pomocí nástroje PsExec s pověřeními, která byla ukradena z jiného počítače.
Pouze známky z obecných dovedností (General), taktiky (Tactic) a techniky (Technique) se započítávají do hodnocení Analytics. Vysoké analytické hodnocení označuje dodavatele, kteří nejen shromažďují správná data (viditelnost), ale také používají pokročilou analytiku k přesné korelaci událostí shromážděných z různých senzorů. V našich vlastních hodnoceních definujeme "vysoké" jako pokrytí více než 90 % dílčích kroků. Toto kritérium kvality analytického pokrytí letos splnilo pouze 7 dodavatelů.
Výsledky čtvrtého kola hodnocení ATT&CK® potvrdily, že společnost Bitdefender je lídrem v poskytování vysoce účinných detekčních funkcí, které umožňují efektivní bezpečnostní operace a snižují únavu z falešných upozornění.
Bitdefender odhalil 97 % všech hlavních kroků útoku na počítače se systémem Windows, a 100 % všech technik útočníků, které byly používány proti systémům Linux.
Platforma Bitdefender GravityZone poskytla analytické poznatky pro 106 ze 109 dílčích kroků (97 %), a popisy na úrovni techniky (nejvyšší možná úroveň analytického pokrytí) pro 103 ze 109 dílčích kroků (95 %).
Pro srovnání těchto výsledků uvádíme, že průměrné pokrytí analytiky u ostatních dodavatelů bylo 71 %, a průměrné pokrytí popisů na úrovni techniky bylo pouze 65 %.
UPDATE 4/4/2022:
Někteří naši zákazníci a partneři se zajímali o výsledky "MITRE 2022 Results: Overall Detection & Protection", které kolují po internetu.
Při interpretaci výsledků hodnocení MITRE, a dalších nezávislých hodnocení, používají někteří dodavatelé každoročně klamavé marketingové praktiky. Hlavní hodnota hodnocení ATT&CK spočívá v tom, že poskytuje přehled o detekčních a analytických schopnostech různých bezpečnostních řešení. Hodnocení ochrany je nedávným doplněním hodnocení ATT&CK, a jeho účast je pro dodavatele nepovinná!
Bohužel se mnoho dodavatelů letos rozhodlo zaměřit svůj marketing na výsledky těchto sekundárních testů, a zavádějícím způsobem do nich zahrnuli další dodavatele, kteří se rozhodli tohoto testu nezúčastnit, a zprůměrovali "skóre" těchto dodavatelů na nulu. Ve skutečnosti byl široce rozšířený článek na webu Help Net Security odstraněn, protože vydavatel nemohl ověřit správnost údajů.
1. Za zařazení do hodnocení ATT&CK účastníci platí - a hodnocení "Ochrana" vyžaduje od prodejců další platbu. Mnoho dodavatelů, včetně společnosti Bitdefender, se rozhodlo z tohoto testování ochrany vyřadit, protože prevenci se věnují jiné nezávislé testy. Došli jsme k závěru, že dodatečné náklady a úsilí by pro náš tým Bitdefender Labs nepřinesly významnou přidanou hodnotu z hlediska výzkumu, protože jsme se v posledních měsících a letech zapojili do mnoha takových testů s AV-Comparatives a AV-TEST. Skóre produktu Bitdefender pro testování ochrany v testu MITRE ATT&CK není 0, ale "Not Applicable (N/A)". Chcete-li porovnat naše řešení s jinými dodavateli, doporučujeme podívat se na nezávislá srovnání na stránkách, jako jsou AV-Comparatives nebo AV-TEST.
2. Dávejte si pozor na dodavatele, kteří překrucují původní terminologii MITRE. To, co je označováno jako "Detection Rate" (míra detekce) nebo "Overall Detection" (celková detekce), je metrika, kterou organizace MITRE nazývá "Visibility" (viditelnost). Viditelnost je kombinací detekcí s nízkým kontextem (telemetrie - surová data) a detekcí s vysokým kontextem (pochopení toho, co se stalo a jak se to stalo). Vysoká viditelnost znamená, že dodavatelé zabezpečení shromažďují správná data, ale nevypovídá nic o analytických schopnostech, schopnosti pomoci s únavou z upozornění (výstrah), a je náchylná k vyššímu počtu falešně pozitivních detekcí. Považujte za varovné znamení, když se dodavatel rozhodne nahradit původní názvy metrik eufemismy (například přejmenování "telemetrie" na "předkládání důkazů").
Jak mohou vedoucí pracovníci CISO a bezpečnostní týmy interpretovat výsledky?
Při vyhodnocování těchto údajů doporučujeme začít tím, že pochopíte své potřeby a určíte techniky, které jsou pro vaši organizaci v současném rizikovém světě nejdůležitější. Toto cvičení může pomoci identifikovat mezery v aktuálně nasazených bezpečnostních kontrolách, a klíčové metriky, které je třeba sledovat pro vaše konkrétní potřeby. Pro efektivní implementaci rámce ATT&CK® bychom také doporučili jeho přizpůsobení pro vaše konkrétní firemní odborníky. Společnost Gartner sdílí některé z běžných dotazů, které dostává, a doporučené postupy týkající se rámce ATT&CK v tomto příspěvku na blogu MITRE ATT&CK - does it do; what you need it to?. Článek by pro vás mohl být užitečný.
Zásadním přínosem řešení pro detekci a reakci na koncových bodech (EDR), a rozšířenou detekci a reakci (XDR), je minimalizace doby přítomnosti útočníků. Hodnocení ATT&CK® jsou nejcennější při popisu toho, zda dodavatelé shromažďují správná data (telemetrii), a zda mají potřebné analytické schopnosti, které poskytují kontext k těmto detekcím tím, že identifikují taktiky a techniky.
Hodnocení ATT&CK® jsou cenným nástrojem při rozhodování o bezpečnostních řešeních, nenahrazují však ověření jejich koncepce. Testovací prostředí ATT&CK je minimalizováno a hodnocení nezohledňuje faktory, jako jsou náklady, míra generovaného šumu (únava z výstrah) nebo problémy spojené s uvedením bezpečnostních řešení do provozu. Doporučili bychom také, aby výsledky studie MITRE byly interpretovány společně s dalšími nezávislými testy třetích stran, zaměřenými na prevenci hrozeb, jako jsou AV-Comparatives a AV-TEST.
Při vyhodnocování výsledků doporučujeme vytvořit si vlastní závěry a nespoléhat se pouze na interpretace dodavatelů zabezpečení (dokonce i na naše!). Jednou ze změn zavedených v letošním roce je, že každý dílčí krok má pouze jednu kategorii detekce, která představuje nejvyšší úroveň kontextu poskytnutého analytikům v rámci všech detekcí pro daný dílčí krok. To je důležitá změna, protože vysoké skóre v některých kategoriích nemusí nutně znamenat pozitivní signál. Pokud má například dodavatel vysokou míru pokrytí telemetrie, může to znamenat, že jeho analytici nebyli schopni obohatit základní telemetrická data a že je pokrytí analytikou omezené.
Chcete-li se dozvědět více o klíčových ukazatelích zahrnutých do zprávy MITRE Engenuity ATT&CK® Evaluations 2022, připojte se k našemu živému webináři 6. dubna 2022. Dragos Gavrilut, jeden z hlavních účastníků ATT&CK® Evaluations, se s vámi podělí o své poznatky o metodice, klíčových metrikách a o tom, jak výsledky využít ke zlepšení vaší kybernetické odolnosti.
Hodnocení ATT&CK® nezahrnuje provozní aspekty bezpečnostních řešení. Automatizovaná korelace událostí a konsolidované uživatelské prostředí jsou rozhodující pro účinné snížení únavy z výstrah.