Багато пакетів безпеки покращують захист у реальному тесті

Дослідники компанії AV-Comparatives, що базується в Інсбруку, невпинно намагаються перевіряти захисну силу пакетів безпеки максимально наближеними до реального досвіду користувачів. Щодня вони піддають майже двадцяти наборам фактичних атак зловмисного програмного забезпечення, використовуючи автоматизовану систему для запису того, наскільки продукт витримав тест. За останні півроку вони пройшли понад 3000 тестових випадків. Результати за півріччя минули, і вражаюча кількість продуктів покращилася з часу останнього такого звіту.

Важливість розміру вибірки

Інтуїтивно очевидно, що такий тест отримає більш точні результати з більшим набором зразків, але цього разу навколо AV-Comparatives чітко пояснили наслідки занадто малого набору зразків. Простий окремий звіт містить статистику, і вони трохи дивують.

Припустимо, певний продукт виявив 80 відсотків із набору 10 000 зразків зловмисних програм. Тепер припустимо, що ви обираєте лише десять зразків навмання з тієї самої колекції. Використовуючи діаграму всіх можливих результатів, звіт демонструє, що досягнення однакової швидкості виявлення, більш високий показник виявлення або менший показник виявлення є майже однаковою. Так, скорочення до десяти зразків є надзвичайним випадком, але це, безумовно, має сенс.

Методи тестування

Використовуючи автоматизовані та ручні методи пошуку, дослідницька група щодня збирає шкідливі URL-адреси в реальному світі. Вони спеціально вибирають поєднання прямих посилань на файли зловмисного програмного забезпечення та сайти для завантаження з драйву. Переглядаючи зразки денного по черзі, вони одночасно виставляють усі продукти на певну URL-адресу і спостерігають, як кожен продукт реагує. Якщо будь-який компонент пакету відбивається від зловмисного програмного забезпечення, це успіх. Якщо зловмисне програмне забезпечення проходить повз і налаштовує ведення господарства, це невдача.

Іноді в наборі з’явиться повідомлення про те, що щось знайдено, і запитає користувача, чи блокувати його чи дозволити. Для тестування аналітики AV-Comparatives завжди вирішують дозволити дію. Продукт, який успішно захищає систему, незважаючи на цю дію, отримує повний кредит; продукт, який дозволяє порушити систему через неправильний вибір користувачем, отримує половину кредиту.

Після завершення конкретного тестового випадку всі тестові системи повертаються до стану попереднього зловмисного програмного забезпечення, готові до наступного тестового випадку.

Хибні позитиви

Помилковий позитивний результат виникає, коли програмне забезпечення безпеки помилково блокує доступ до законного файлу чи веб-сайту. Очевидно, що ви не хочете, щоб ваш пакет безпеки витирав дійсні файли чи тримав вас подалі від нешкідливих веб-сайтів. Компанія AV-Comparatives протестувала кожен продукт із приблизно тисячею випадково вибраних доменів та близько ста нових та популярних програм. З метою тестування вони завантажували кожну програму з сайту розробника, а не з порталу завантаження.

У звіті зазначається, що статистичний та репутаційний аналіз безпеки часто блокує або попереджає про нові програми та сайти. У ньому йдеться: "Хоча такі методи захисту … допомагають досягти високих результатів продукту … це також може призвести до виявлення / блокування невинних / чистих файлів та URL-адрес лише тому, що вони … занадто нові". Нортон, рішучий прихильник такого типу виявлення, не бере участі в тестуванні AV-Comparatives.

Багато вдосконалення

Більше половини продуктів, включених до поточного звіту, набрали кращий результат, ніж у попередній редакції цього звіту. Віпре, Макафі та Фортінет останній раз провалилися, навіть не заробивши СТАНДАРТ, найнижчий бал. Цього разу Fortinet та McAfee оцінили ADVANCED, а Vipre перейшов у STANDARD. У всіх трьох людей рейтинг був знижений через помилкові позитиви; заснований саме на виявленні McAfee та Fortinet оцінили б ADVANCED +, найвищий рейтинг.

eScan перейшов зі STANDARD до ADVANCED +, поки avast!, ESET і Trend Micro перейшли з ADVANCED до ADVANCED +. Кілька інших, які раніше оцінювали СТАНДАРТ, на цей раз управляли ПІДГОТОВКИМ рейтингом.

Bitdefender регулярно заробляє найкращі результати в незалежних лабораторних тестах. Просто на основі виявлення зловмисного програмного забезпечення він би оцінив ADVANCED +, як це робилося минулого разу, але помилкові позитивні результати знизили його до ADVANCED. Те саме сталося з F-Secure та BullGuard.

Динамічний тест на весь продукт AV-Comparatives є одним з найбільш трудомістких тестів, з якими я стикався. Тож не дивно, що лабораторія покладається на підтримку університету в Інсбруку та австрійського уряду. Це велика робота, але кінцевим результатом є тест, який дуже точно наближає, наскільки добре продукт захистить реальних користувачів.