Microsoft спростовує збій антивірусного тесту

Робота в Центрі захисту від шкідливих програм Microsoft повинна бути важкою. Тут ваша компанія одна з найбільших у світі, але невелика (але добре оцінена) лабораторія тестування антивірусів у Німеччині говорить, що ваше антивірусне програмне забезпечення не ріже гірчицю. Microsoft не один раз, а двічі за останні кілька місяців Microsoft не отримала сертифікацію від AV-Test.

Джо Блекберд, керівник програми в Центрі, пояснив у публікації в блозі, що те, що тест цього тесту не означає, що користувач Microsoft не захищений.

Прозорість тестування

Відповідно до принципів AMTSO, AV-Test не приховує методології, що використовується при проведенні їхніх постійних тестів на сертифікацію. Це означає, що Blackbird може перевірити і точно перевірити, чому Microsoft Security Essentials не пройшов.

Тест дає рівну вагу трьом елементам безпеки: захист (утримання нового зловмисного програмного забезпечення від зараження чистої системи), ремонт (очищення зловмисного програмного забезпечення, яке вже є) та зручність використання (виконувати роботу без уповільнення роботи системи або помилкового звинувачення в дійсних програмах). Microsoft зробив все в порядку в області ремонту та зручності використання, але отримав лише 1, 5 з 6 можливих точок захисту.

Не реальний світ?

Основна думка Blackbird полягає в тому, що цей тест не відображає досвіду клієнтів Microsoft у реальному світі. За даними AV-Test, Microsoft пропустила 28 із 100 загроз з нульовим днем. Однак телеметрія Microsoft показує, що "99, 997 відсотків наших клієнтів, які потрапили за 0 днів, не стикалися зі зразками шкідливих програм, випробуваними в цьому тесті". Зауважте, що він не говорить про 99, 997 відсотків усіх клієнтів. Він говорить, що з тих, хто зіткнувся з якоюсь загрозою з нульовим днем, лише 0, 003 відсотки стикалися з тією, яку насправді використовував AV-Test.

Але чи обов’язково це є обвинуваченням методу тестування? Давайте подивимось на це навпаки. Нульові атаки відбуваються постійно, у величезній кількості. Якщо 0, 003 відсотка становить лише одного клієнта, то 300 000 клієнтів стикалися з такою атакою. Звичайно, кількість може бути і більшою. AV-Test вибрав випадкову вибірку в 100 і просто трапився 28, який Microsoft не може виявити. Це звучить якось погано, чи не так?

Microsoft також пропустила 9 відсотків з 216 000 файлів у колекції "недавнього зловмисного програмного забезпечення", але, зазначає Blackbird, пропущені зразки "не відображають те, з чим стикаються наші клієнти. Коли ми явно шукали ці файли, ми не могли їх знайти в наших машини клієнтів ".

Пріоритетність, орієнтована на клієнта

"У грудні 2012 року, - продовжував Блекберд, - ми обробили 20 мільйонів нових потенційно шкідливих файлів, і, використовуючи телеметрію та вплив клієнтів, щоб визначити пріоритет цих файлів, додали захист, який заблокував 4 мільйони різних шкідливих файлів на майже 3 мільйонах комп'ютерів. Ці 4 мільйони Файли могли впливати на споживача, якби ми не розставили їх відповідно. " Іншими словами, Microsoft в цьому тесті погано справився через те, що він робив наголос на пріоритетності файлів, які активно впливали б на їхніх клієнтів.

Це цікавий момент, але інші виробники вдається захистити своїх користувачів, а також заробляють найкращі бали від AV-Test. Усі Bitdefender, F-Secure і Trend Micro отримали 6 з 6 можливих балів у тесті захисту.

Я підтверджую, що AV-Test не використовував для своєї перевірки всю шкідливу програму, з якою фактично стикаються користувачі Microsoft. Це було б неможливо. Тестувачі антивірусів повинні зробити все можливе, щоб використовувати репрезентативні зразки. Однак моє власне практичне тестування в Microsoft Security Essentials з використанням зразків, далеких від нуля на день, говорить про те, що це просто не так ефективно, як найкращі антивірусні продукти.

Щоб дізнатися більше про Ніла, слідкуйте за ним у Twitter @neiljrubenking.