Kontrowersyjny raport: skuteczność antywirusów to 5%?

W sieci pojawił się raport sugerujący, że programy antywirusowe potrafią wykryć jedynie 5% nowych wirusów. Wzbudził on duże kontrowersje wśród producentów antywirusów, zarówno ze względu na wyniki jak i metodologię badania. Kto ma rację?

Raport opracowała Imperva, amerykańska firma z izraelskimi korzeniami, sprzedająca rozwiązania z dziedziny bezpieczeństwa komputerowego. Warto podkreślić, że firma w swoim portfolio nie ma rozwiązań stricte antywirusowych, oferuje za to mechanizmy ochrony baz danych oraz aplikacji. W grudniu 2012 Imperva opublikowała raport pod tytułem Ocena efektywności rozwiązań antywirusowych.

W raporcie analitycy firmy wraz ze studentami Izraelskiego Instytutu Technologii zebrali oraz przeanalizowali nieznane wcześniej próbki złośliwego oprogramowania i przetestowali, jak rozpoznają je programy antywirusowe. Otrzymali zaskakujące wyniki. Według ich obserwacji, jedynie niecałe 5% nowych próbek złośliwego oprogramowania jest prawidłowo rozpoznawane przez antywirusy obecne na rynku. Wyniki te podchwyciły media, publikując artykuły o niskiej skuteczności platform antywirusowych. Skąd jednak Imperva wzięła takie nieoczekiwane wyniki?

Dobór próby

Analitycy Impervy w ciekawy sposób podeszli do zebrania materiału do badań. Postanowili nie korzystać z istniejących baz złośliwego oprogramowania, a zamiast tego sięgnęli do swoich honeypotów. W oparciu o zebrane przez nie informacje, wyszukali w Google pliki o nazwach identycznych, jak te wykryte w trakcie prób infekcji (na przykład 1.exe czy add-credit-facebook1.exe).

Jako drugie źródło próbek wybrali rosyjskie fora internetowe. W przytoczonym w raporcie przykładzie pobrali aplikacje służące do „hakowania ICQ”, „hakowania emaili”, „hakowania Skype” i „hakowania portali społecznościowych”. Trudno powiedzieć, czy tego rodzaju narzędzia powinny być wykrywane przez programy antywirusowe jako potencjalne zagrożenie – jednak zostały one dołączone do testowanej puli.

W sumie zebrali w ten sposób 82 próbki oprogramowania. Z punktu widzenia statystyki wydaje się, że zarówno dobór próby, jak i jej liczność nie stanowią podstawy do wyciągania wniosków na całą populację.

Narzędzie testowe

Do przetestowania szerokiej puli programów antywirusowych wybrano usługę VirusTotal z uwagi na łatwość przeprowadzenia badania – wystarczyło kilka skryptów w Pythonie, które co tydzień przesyłały zebrane próbki i zapisywały wyniki testów w bazie danych. Czemu korzystanie z VirusTotal w tym badaniu było bardzo złym pomysłem?

Problem wykorzystywania serwisu VirusTotal do testów rozwiązań antywirusowych znany jest od wielu lat. Sam serwis informuje wielkimi literami, że wykorzystywanie go do jakichkolwiek testów to ZŁY POMYSŁ. Powodów ku temu jest wiele. Po pierwsze – i najważniejsze – serwis korzysta jedynie z silników antywirusowych, działających z poziomu wiersza poleceń. Są to okrojone wersje produktów przeznaczonych dla środowiska graficznego, testujące badane próbki najczęściej jedynie w oparciu o bazę znanych sygnatur. W większości produktów wersja działająca z wiersza poleceń nie przeprowadza analizy heurystycznej podejrzanego pliku – nie analizuje źródła jego pochodzenia, jego zachowania w systemie czy podobieństwa do innych znanych przypadków. Z definicji zatem metoda ta będzie miała niższą skuteczność wobec nowych zagrożeń.

Opinie firm antywirusowych

Jak można się było spodziewać, firmy antywirusowe nie przyjęły dobrze raportu Impervy.

Opinia TrendMicro

Przedstawiciele Kaspersky’ego i Sophosa również skrytykowali metodologię badania oraz dobór próby. Kto jednak ma rację w tym sporze?

Z jeden strony wynik 5% wydaje się mocno naciągnięty ze względu na niedoskonałości badania wskazane powyżej, z drugiej strony bez wątpienia produkty antywirusowe nie są uniwersalnym panaceum na wszystkie zagrożenia, które niesie ze sobą złośliwe oprogramowanie. Twórcy wirusów i koni trojańskich potrafią tworzyć nową wersję swojego oprogramowania co kilka godzin i aktualizować swoje botnety po kilka razy dziennie, by uniknąć wykrycia przez systemy antywirusowe. Wiarygodne wydają się wyniki badania uznanej organizacji AV-Test, która ocenia, że systemy antywirusowe wykrywają 87% nowych zagrożeń.

Źródło: AV-Test

Czy 87% to dużo czy mało? Jeśli system antywirusowy jest jedynym mechanizmem ochronnym, to zdecydowanie za mało. Jeśli jednak stanowi część większego systemu wykrywania zagrożeń, to wynik ten należy uznać za całkiem przyzwoity. Czekamy teraz na testy rozwiązań Impervy, przeprowadzone przez dostawców oprogramowania antywirusowego.