Як ми інтерпретуємо тести антивірусних лабораторій

Чи працює ваш антивірус? Напевно, ви не хочете випускати живий вірус просто для перевірки. На щастя, незалежні лабораторії антивірусних тестів у всьому світі роблять все можливе, щоб відповісти на це питання, не ставлячи вас до небезпеки.

Лабораторії

Щоб зрозуміти, наскільки ефективні різні антивірусні продукти, я проводжу шість конкретних тестових лабораторій. Усі ці лабораторії регулярно проводять тести, і результати, на які я покладаюся, є у вільному доступі для публіки.

Постачальник безпеки оплачує тестування лабораторій ICSA та West Coast Labs і сертифікацію своєї продукції. В рамках послуги лабораторія працює з постачальником, щоб виправити будь-які збої. Я спеціально розглядаю сертифікати на виявлення зловмисних програм та очищення від зловмисних програм.

Поважний вірусний бюлетень проводить щомісячні тести на виявлення, присвоюючи сертифікацію VB100 продуктам, що виявляють усі їхні "дикі списки" зразків. Зауважте, що навіть одного хибного позитиву (дійсна програма, виявлена ​​як зловмисне програмне забезпечення) достатньо, щоб продукт вийшов з ладу. У цьому випадку я дивлюсь на відсоток успіху за останні дванадцять місяців.

Базуючись у м. Магдебург, Німеччина, AV-Test регулярно оцінює антивірусні продукти у трьох сферах: захист, продуктивність та зручність використання. Захист стосується відбиття атак від зловмисного програмного забезпечення, продуктивність пов'язана з мінімізацією використання системних ресурсів, а зручність використання передбачає ряд факторів, включаючи помилкові позитиви. Маючи шість балів, можливих у кожній категорії, максимально можливий бал - 18.

Компанія AV-Comparatives проводить найрізноманітніші тести, деякі з допомогою та підтримки австрійського уряду. Тест на виявлення файлів вимірює як статичне виявлення, так і виявлення після запуску. Аналогічний тест із використанням застарілих визначень шкідливих програм намагається виміряти ефективність проти атак з нульовим днем. А місячний динамічний тест кидає виклик кожному продукту протистояти зараженню найновішими шкідливими програмами. Продукти, які проходять, мають рейтинг СТАНДАРТ; кращі продукти можуть заробити рейтинг ADVANCED або ADVANCED +.

Дослідники з лабораторії Dennis Technology Labs працюють надто важко, щоб імітувати досвід користувача в реальному світі. Вони ідентифікують зловмисне програмне забезпечення в Інтернеті, захоплюють весь шкідливий веб-сайт та копіюють його в контрольованому середовищі, тому кожен продукт зазнає точно такої самої атаки. Враховуючи захист та відсутність помилкових позитивних результатів, продукти можуть отримати сертифікацію на п'яти рівнях: AAA, AA, A, B і C.

Що це все означає?

Раніше я підсумовував фактичні результати лабораторії, але інтерпретувати результат було не так просто. В одній колонці 3.0 був найкращий результат, а в іншому 3.0 було б жахливо. Однак інші стовпці можуть містити "100%" або "Y". Я переглянув свою діаграму, щоб замість цього підвести підсумки у п'яти категоріях: виявлення, очищення, захист, помилкові позитиви та ефективність, а також загальний підсумковий бал. Клацніть тут, щоб побачити приклад.

Найважливішим тут є те, що всі лабораторії перевіряють різні колекції продуктів та різну кількість. Наприклад, AV-Test AV-Comparatives зазвичай включає в себе від 20 до 25 продуктів в тестовому циклі, наприклад, в той час як Dennis Labs прагне робити більше, ніж вісім чи десять. Мені просто доводиться робити наявні дані, і я оцінюю різні тести відповідно до власного суб'єктивного враження про їхню цінність.

Мій рейтинг виявлення базується на тесті VB100 та двох тестах на виявлення файлів від AV-Comparatives. Отримавши сертифікацію на виявлення з лабораторій ICSA та West Coast Labs, можна підвищити рейтинг продукту, але відсутність його не знижує його.

AV-Comparatives проводить тест очищення від зловмисного програмного забезпечення, який спеціально перевіряє, наскільки добре продукти видаляють шкідливі програми, які вони виявляють. Я включаю це до свого рейтингу очищення з можливим збільшенням, якщо West Coast та ICSA Labs сертифікують технологію виробника для очищення від зловмисних програм. AV-Test обговорив подібний тест, що стосується очищення; Я додам цю, коли вона буде доступна.

Тест у реальному світі від Dennis Labs - це захист від нападу зловмисного програмного забезпечення, як і динамічний тест AV-Comparatives. Я дивлюся на обидва з них на мій рейтинг захисту, а також на компонент захисту від AV-Test.

AV-Comparatives перевіряє вплив різних продуктів безпеки на продуктивність системи; Трискладовий аналіз AV-Test включає компонент продуктивності. Обидва вони входять до мого рейтингу продуктивності .

Помилкові позитиви можуть бути справжньою проблемою; якщо ваш антивірус продовжує карантинувати останні ігри, ви, ймовірно, його вимкніть. Dennis Labs називає окрему помилкову позитивну оцінку, яку я використовую в рейтингу помилкових позитивних результатів . Я також беру до відома, якщо продукт втратив рейтинговий рівень через помилкові позитиви в будь-якому з тестів AV-Comparatives. Нарешті, я змішую компонент юзабіліті від AV-Test.

Ідеально? Ні

Деякі виробники не схвалюють певні тести. Стиль захисту Webroot від абсолютно нових загроз не сумісний з деякими тестами. Symantec заявив, що статичні тести мають малу цінність і що лише динамічні тести на весь продукт надають корисну інформацію. Деякі взагалі не бажають брати участь або брати участь у такій кількості тестів, що загальний рейтинг неможливий.

Незважаючи на це, тут можна багато чому навчитися. Продукт, який отримує п’ять зірок на дошці, робить щось правильно. Той, який виявляє тузи, але не вдається очистити, мабуть, не є правильним вибором для викорінення наявної зарази шкідливим програмним забезпеченням. Я, безумовно, впорядкував власну інтерпретацію в процесі розробки цієї системи.