Як ми протестуємо антивірусні та захисні програми

Кожен антивірусний або набір продуктів безпеки обіцяє захистити вас від безлічі ризиків та неприємностей щодо безпеки. Але чи реально вони виконують свої обіцянки? Оцінюючи ці продукти для ознайомлення, ми ставимо їхні твердження на тестування різними способами. Кожен огляд повідомляє результати наших тестів, а також практичний досвід роботи з продуктом. Ця стаття буде копати глибше, пояснюючи, як саме працюють ці тести.

Звичайно, не кожен тест підходить для кожного товару. Багато антивірусних утиліт включають захист від фішингу, але деякі - ні. Більшість пакетів включає фільтрацію спаму, однак деякі пропускають цю функцію, а деякі антивірусні продукти додають її як бонус. Незалежно від особливостей того чи іншого товару, ми перевіримо їх.

Тестування антивіруса в режимі реального часу

Кожен повноцінний антивірусний інструмент включає сканер на замовлення для пошуку та знищення наявних шкідливих програм та монітор у реальному часі для відбиття нових атак. Раніше ми фактично підтримували колекцію віртуальних машин, заражених зловмисним програмним забезпеченням, щоб перевірити здатність кожного продукту видаляти наявні зловмисні програми. Успіхи кодування зловмисного програмного забезпечення зробили тестування живої шкідливої ​​програми занадто небезпечним, але ми все одно можемо захищати кожен продукт у режимі реального часу.

Щороку ранньою весною, коли більшість постачальників безпеки завершили щорічний цикл оновлення, ми збираємо нову колекцію зразків шкідливих програм для цього тесту. Ми починаємо з подачі останніх URL-адрес хостингу зловмисних програм, завантажуємо сотні зразків і перетворюємо їх на керовану кількість.

Ми аналізуємо кожен зразок, використовуючи різні інструменти, кодовані вручну. Деякі зразки виявляють, коли вони працюють у віртуальній машині, і утримуються від шкідливої ​​діяльності; ми просто не використовуємо їх. Ми шукаємо різноманітні типи та зразки, які вносять зміни до файлової системи та реєстру. Доклавши певних зусиль, ми зібрали колекцію до керованого числа і записуємо, які саме зміни системи вносять у кожен зразок.

Щоб перевірити можливості блокування зловмисного програмного забезпечення продукту, ми завантажуємо папку зразків із хмарного сховища. Захист у режимі реального часу в деяких продуктах починається негайно, знищуючи відому шкідливу програму. Якщо необхідно для активації захисту в режимі реального часу, ми клацаємо один зразок кожного зразка або копіюємо колекцію в нову папку. Ми беремо до уваги, скільки зразків антивірус усуває на очах.

Далі ми запускаємо кожен залишився зразок і відзначаємо, чи виявив його антивірус. Ми фіксуємо загальний відсоток виявлених, незалежно від того, коли відбулося виявлення.

Виявлення нападу зловмисного програмного забезпечення недостатньо; антивірус повинен фактично запобігти атаці. Невелика внутрішня програма перевіряє систему, щоб визначити, чи вдалося зловмисному програмному середовищу внести будь-які зміни в Реєстр або встановити будь-який з його файлів. У випадку виконуваних файлів він також перевіряє, чи дійсно працює якийсь із цих процесів. І як тільки вимірювання завершено, ми вимикаємо віртуальну машину.

Якщо продукт перешкоджає встановленню всіх виконуваних слідів за зразком зловмисного програмного забезпечення, він отримує 8, 9 або 10 балів, залежно від того, наскільки добре він заважав захаращувати систему невиконаними слідами. Виявлення зловмисного програмного забезпечення, але не в змозі запобігти встановленню виконуваних компонентів, отримує половину кредиту, 5 балів. Нарешті, якщо, незважаючи на спробу антивірусу на захист, один або кілька зловмисних програм насправді працює, це коштує лише 3 бали. Середнє значення всіх цих балів стає остаточним показником блокування зловмисного програмного забезпечення продукту.

Тестування блокування зловмисної URL-адреси

Найкращий час для знищення зловмисного програмного забезпечення - це перш, ніж він потрапить до вашого комп’ютера. Багато антивірусних продуктів інтегруються у ваші веб-переглядачі та відволікають їх від відомих URL-адрес хостингу зловмисних програм. Якщо захист не спрацьовує на цьому рівні, завжди є можливість знищити корисне навантаження під час завантаження або відразу після його завантаження.

У той час як основний тест блокування зловмисних програм використовує один і той же набір зразків протягом сезону, URL-адреси хостингу від зловмисного програмного забезпечення, які ми використовуємо для тестування захисту на веб-основі, щоразу відрізняються. Ми отримуємо подачу з найновіших шкідливих URL-адрес із лондонської MRG-Effitas та зазвичай використовуємо URL-адреси, які не перевищують дня.

Використовуючи невелику вбудовану утиліту, ми йдемо за списком, запускаючи по черзі кожну URL-адресу. Ми відкидаємо будь-які, які насправді не вказують на завантаження зловмисного програмного забезпечення, та будь-які повідомлення про помилки. В іншому ми зазначимо, чи забороняє антивірус доступ до URL-адреси, видаляє завантаження чи нічого не робить. Після запису результату утиліта переходить до наступної URL-адреси у списку, яка не є тим самим доменом. Ми пропускаємо будь-які файли розміром більше 5 Мб, а також пропускаємо файли, які вже з'явилися в одному тесті. Ми зберігаємо це, поки не накопичили дані принаймні 100 перевірених URL-адрес хостингу зловмисного програмного забезпечення.

Оцінка в цьому тесті - це просто відсоток URL-адрес, для яких антивірус не дозволяв завантажувати зловмисне програмне забезпечення, будь то шляхом повного відключення доступу до URL-адреси або витирання завантаженого файлу. Оцінки значно варіюються, але найкращі інструменти безпеки керують 90 і більше відсотків.

Тестування виявлення фішингу

Навіщо вдаватися до складних троянців для крадіжки даних, коли ви можете просто обдурити людей відмовлятися від своїх паролів? Ось такий склад зловмисників, які створюють і керують веб-сайтами, що фішизують. Ці шахрайські сайти імітують банки та інші чутливі сайти. Якщо ви введете свої облікові дані для входу, ви просто роздали ключі від королівства. І фішинг не залежить від платформи; він працює в будь-якій операційній системі, яка підтримує перегляд веб-сторінок.

Ці підроблені веб-сайти зазвичай потрапляють у чорний список недовго після їх створення, тому для тестування ми використовуємо лише найновіші фішинг-адреси. Ми збираємо це з веб-сайтів, орієнтованих на фішинг, надаючи перевагу тим, про які повідомлялося як про шахрайство, але ще не підтверджено. Це змушує програми безпеки використовувати аналіз у реальному часі, а не покладатися на спрощені чорні списки.

Для цього тесту ми використовуємо чотири віртуальні машини, по одній - під тестуваним продуктом, а по одній - із захистом від фішингу, вбудованим у Chrome, Firefox та Microsoft Edge. Невелика утилітна програма запускає кожну URL-адресу в чотирьох браузерах. Якщо хтось із них поверне повідомлення про помилку, ми відкидаємо цю URL-адресу. Якщо отримана сторінка не намагається наслідувати інший сайт або не намагається захопити дані імені користувача та пароля, ми його відкидаємо. Для решти реєструємо, чи виявив кожен товар шахрайство чи ні.

У багатьох випадках продукт, який тестується, навіть не може зробити так само, як і вбудований захист в одному чи кількох браузерах.

Тестування фільтрування спаму

У ці дні облікові записи електронної пошти для більшості споживачів видаляють спам з них постачальником електронної пошти або службовою програмою, що працює на сервері електронної пошти. Насправді потреба у фільтрації спаму постійно зменшується. Австрійська тестова лабораторія AV-Comparatives перевірила функцію антиспаму кілька років тому, виявивши, що навіть Microsoft Outlook блокував майже 90 відсотків спаму, а більшість пакетів зробили краще, деякі з них набагато краще. Лабораторія навіть не обіцяє продовжувати тестування спам-фільтрів, орієнтованих на споживачів, зазначивши, що "кілька постачальників думають вилучити функцію антиспаму з продуктів захисту споживачів".

Раніше ми проводили власні антиспам-тести, використовуючи реальний акаунт, який отримує як спам, так і дійсну пошту. Процес завантаження тисяч повідомлень та ручного аналізу вмісту папки "Вхідні та спаму" зайняв більше часу та зусиль, ніж будь-який інший практичний тест. Докладати максимум зусиль на особливості мінімальної важливості вже не має сенсу.

Є ще важливі моменти, які потрібно повідомити про фільтр спаму в пакеті. Які клієнти електронної пошти підтримують? Чи можете ви використовувати його з непідтримуваним клієнтом? Чи обмежений він обліковими записами електронної пошти POP3, чи він також обробляє IMAP, Exchange чи навіть веб-пошту? Ідучи вперед, ми ретельно розглянемо можливості захисту спаму кожного пакету, але більше не будемо завантажувати та аналізувати тисячі електронних листів.

Тестування продуктивності пакета безпеки

Коли ваш пакет безпеки пильно стежить за атаками зловмисних програм, захищається від вторгнень у мережу, не дозволяє браузеру відвідувати небезпечні веб-сайти тощо, він чітко використовує частину процесора та інших ресурсів вашої системи для виконання своєї роботи. Декілька років тому пакети безпеки отримали репутацію, що висмоктує стільки ресурсів вашої системи, що вплинуло на використання вашого власного комп'ютера. У наші дні справи набагато кращі, але ми все ще проводимо кілька простих тестів, щоб отримати уявлення про вплив кожного пакету на продуктивність системи.

Програму безпеки потрібно завантажувати якомога раніше в процесі завантаження, щоб не знайти зловмисного програмного забезпечення, яке вже контролюється. Але користувачі не хочуть чекати довше, ніж потрібно, щоб почати використовувати Windows після перезавантаження. Наш тестовий скрипт працює відразу після завантаження і починає просити Windows звітувати про рівень використання процесора раз на секунду. Через 10 секунд поспіль при використанні процесора не більше 5 відсотків він оголошує систему готовою до використання. Віднімаючи початок процесу завантаження (як повідомляє Windows), ми знаємо, скільки часу зайняв процес завантаження. Ми проводимо багато повторень цього тесту і порівнюємо середнє значення з рівнем багатьох повторень, коли жодного набору не було.

По правді кажучи, ви, ймовірно, перезавантажуєте не частіше одного разу на день. Набір безпеки, який уповільнює щоденні роботи з файлами, може мати більш значний вплив на вашу діяльність. Щоб перевірити наявність подібного уповільнення, ми розробляємо сценарій, який переміщує та копіює велику колекцію великих-величезних файлів між дисками. Усереднюючи кілька запусків без набору та кілька запусків із активним пакетом безпеки, ми можемо визначити, наскільки набір уповільнив ці файлові дії. Подібний скрипт вимірює ефект набору на сценарій, який створює зірочку та розпаковує одну і ту ж колекцію файлів.

Середнє уповільнення у цих трьох тестах наборів із самим легким дотиком може становити менше 1 відсотка. На іншому кінці спектру дуже мало номерів в середньому становить 25 відсотків, а то й більше. Насправді ви можете помітити вплив більш суворих сюїтів.

Тестування захисту брандмауера

Оцінити успіх брандмауера не так просто, адже різні постачальники мають різні уявлення про те, що саме повинен робити брандмауер. Незважаючи на це, існує ряд тестів, які ми можемо застосувати до більшості з них.

Зазвичай брандмауер має два завдання, захищаючи комп'ютер від зовнішньої атаки та забезпечуючи, щоб програми не зловживали мережевим підключенням. Для перевірки захисту від нападу ми використовуємо фізичний комп'ютер, який підключається через порт DMZ маршрутизатора. Це дає ефект комп'ютеру, підключеному безпосередньо до Інтернету. Це важливо для тестування, оскільки комп'ютер, підключений через роутер, фактично непомітний для Інтернету. Ми вражаємо тестову систему за допомогою сканування портів та інших веб-тестів. У більшості випадків ми виявляємо, що брандмауер повністю приховує тестову систему від цих атак, переводячи всі порти в режим невидимості.

Вбудований брандмауер Windows обробляє крадіжки всіх портів, тому цей тест є лише базовою лінією. Але навіть тут існують різні думки. Дизайнери Касперського не бачать ніякої цінності в захованні портів, поки порти закриті і брандмауер активно запобігає атаці.

Контроль програми в самих ранніх особистих брандмауерах був надзвичайно практичним. Кожен раз, коли невідома програма намагалася отримати доступ до мережі, брандмауер вискакував запит, запитуючи користувача, дозволяти чи ні. Цей підхід не дуже ефективний, оскільки користувач взагалі не має уявлення про те, які дії є правильними. Більшість просто дозволить все. Інші будуть натискати Блокувати щоразу, поки вони не порушать якусь важливу програму; після цього вони дозволяють все. Ми виконуємо практичну перевірку цієї функціональності за допомогою крихітної утиліти браузера, кодованої за годину, та завжди буде кваліфікована як невідома програма.

Деякі шкідливі програми намагаються обійти такий простий контроль програм шляхом маніпулювання або маскування під надійні програми. Коли ми стикаємось із брандмауером для старої школи, ми перевіряємо його вміння за допомогою утиліт, які називаються тестами на герметичність. Ці програми використовують ті самі методики, щоб ухилятися від контролю програм, але без шкідливого корисного навантаження. Ми знаходимо все менше і менше тестів на герметичність, які все ще працюють у сучасних версіях Windows.

На іншому кінці спектру найкращі брандмауери автоматично налаштовують мережеві дозволи для відомих хороших програм, усувають відомі погані програми та посилюють спостереження за невідомими. Якщо невідома програма спробує підозріле з'єднання, в цей момент брандмауер починає зупиняти його.

Програмне забезпечення не є і не може бути ідеальним, тому погані хлопці наполегливо працюють над тим, щоб знайти дірки в безпеці в популярних операційних системах, браузерах та додатках. Вони розробляють подвиги для компрометації системної безпеки, використовуючи будь-які вразливості. Зазвичай виробник експлуатованого продукту видає виправлення безпеки якомога швидше, але поки ви фактично не застосуєте цей патч, ви вразливі.

Найрозумніші брандмауери перехоплюють ці експлуатаційні атаки на мережевому рівні, тому вони ніколи навіть не доходять до вашого комп’ютера. Навіть для тих, хто не сканує на мережевому рівні, у багатьох випадках антивірусний компонент знищує корисне навантаження зловмисного програмного забезпечення. Ми використовуємо інструмент проникнення CORE для того, щоб потрапити на кожну тестову систему із приблизно 30 недавніми подвигами та записати, наскільки добре захищений продукт від них відбив.

Нарешті, ми проводимо перевірку правильності, щоб перевірити, чи може кодер зловмисного програмного забезпечення легко відключити захист. Ми шукаємо перемикач включення / вимкнення в Реєстрі і перевіряємо, чи можна його використовувати для відключення захисту (хоча минуло років, як ми виявили продукт, вразливий до цієї атаки). Ми намагаємось припинити процеси безпеки за допомогою диспетчера завдань. І ми перевіряємо, чи можна зупинити чи відключити основні послуги продукту Windows.

Тестування батьківського контролю

Батьківський контроль та моніторинг охоплює широкий спектр програм та особливостей. Типова утиліта батьківського контролю тримає дітей подалі від неприємних сайтів, стежить за їх використанням в Інтернеті та дозволяє батькам визначати, коли і на який час дітям дозволено користуватися Інтернетом щодня. Інші функції варіюються від обмеження контактів чату до патрулювання публікацій Facebook на ризикові теми.

Ми завжди проводимо перевірку правильності, щоб переконатися, що фільтр вмісту справді працює. Як виявляється, пошук порносайтів для тестування - це нескладно. Майже про будь-яку URL-адресу, що складається з прикметника розміру та назви нормально покритої частини тіла, - це вже порносайт. Дуже мало продуктів проходять цей тест.

Ми використовуємо крихітну службову програму веб-переглядача для перевірки того, що фільтрація вмісту не залежить від браузера. Ми видаємо мережеву команду з трьох слів (ні, ми її не публікуємо тут), яка вимикає деякі простодушні фільтри вмісту. І ми перевіряємо, чи можемо ми ухилитися від фільтра, використовуючи захищений веб-сайт проксі-анонімізації.

Накладання часових обмежень на використання комп’ютера чи Інтернету для дітей є ефективним лише в тому випадку, якщо діти не можуть перешкоджати утриманню часу. Ми перевіряємо, чи працює функція планування часу, а потім намагаємось уникнути її, скинувши системну дату та час. Найкращі продукти не покладаються на системний годинник для своєї дати та часу.

Після цього, це просто питання тестування функцій, які, як стверджує, програма. Якщо це обіцяє можливість блокувати використання певних програм, ми залучаємо цю функцію і намагаємось її зрушити, перемістивши, скопіювавши або перейменувавши програму. Якщо він каже, що він викреслює погані слова з електронної пошти чи миттєвих повідомлень, ми додаємо випадкове слово до списку блоків і перевіряємо, чи воно не надсилається. Якщо вона стверджує, що вона може обмежувати контакти з обміну миттєвими повідомленнями, ми встановлюємо розмову між двома нашими обліковими записами та забороняємо один з них. Яку б потужність управління чи моніторинг не обіцяла програма, ми робимо все можливе, щоб перевірити її.

Інтерпретація тестів на антивірусні лабораторії

У нас немає ресурсів для проведення вичерпних антивірусних тестів, проведених незалежними лабораторіями по всьому світу, тому ми приділяємо пильну увагу їх результатам. Ми слідкуємо за двома лабораторіями, які видають сертифікати, і чотирма лабораторіями, які регулярно випускають результати результатів тестів, використовуючи їх результати, щоб допомогти інформувати наші відгуки.

ICSA Labs і West Coast Labs пропонують широкий спектр тестів на сертифікацію безпеки. Ми спеціально дотримуємось їх сертифікатів на виявлення зловмисних програм та на видалення зловмисних програм. Постачальники безпеки оплачують тестування своєї продукції, і процес включає допомогу лабораторій, щоб виправити будь-які проблеми, що запобігають сертифікації. На що ми дивимося, це той факт, що лабораторія знайшла товар досить вагомим для тестування, і постачальник готовий заплатити за тестування.

Базований у м. Магдебург, Німеччина, Інститут AV-тестування постійно проводить антивірусні програми за допомогою різноманітних тестів. Тест, на якому ми зосередимось, - це трискладовий тест, який присуджує до 6 балів у кожній з трьох категорій: Захист, Ефективність та Корисність. Щоб отримати сертифікацію, продукт повинен набрати 10 балів без нулів. У цьому тесті найкращі продукти забирають додому ідеальні 18 балів.

Щоб перевірити захист, дослідники виставляють кожен продукт на еталонний набір AV-Test із понад 100 000 зразків та на кілька тисяч надзвичайно поширених зразків. Продукти отримують кредит за запобігання зараження на будь-якій стадії, будь то блокування доступу до URL-адреси хостингу зловмисного програмного забезпечення, виявлення зловмисного програмного забезпечення за допомогою підписів або запобігання запуску зловмисного програмного забезпечення. Найкращі продукти часто досягають 100-відсоткового успіху в цьому тесті.

Продуктивність важлива - якщо антивірус помітно погіршить продуктивність системи, деякі користувачі вимкнуть її. Дослідники AV-Test вимірюють різницю у часі, необхідне для виконання 13 загальних системних дій із наявним продуктом безпеки. Серед цих дій - завантаження файлів з Інтернету, копіювання файлів як локально, так і через мережу, а також запуск загальних програм. Усереднюючи кілька пробігів, вони можуть визначити, який вплив має кожен продукт.

Тест юзабіліті - це не обов'язково те, що ви думаєте. Це не має нічого спільного з простотою використання або дизайном інтерфейсу користувача. Скоріше, він вимірює проблеми юзабіліті, які виникають, коли антивірусна програма помилково відмічає законну програму чи веб-сайт як шкідливу чи підозрілу. Дослідники активно встановлюють та запускають постійно змінюється колекцію популярних програм, відзначаючи будь-яку дивну поведінку антивірусу. Окремі тестові перевірки лише для того, щоб антивірус не ідентифікував жоден із понад 600 000 законних файлів як зловмисне програмне забезпечення.

Ми збираємо результати чотирьох (раніше п’яти) багатьох тестів, які регулярно випускає компанія AV-Comparatives, яка базується в Австрії та тісно співпрацює з Університетом Інсбрука. Засоби безпеки, які проходять тест, отримують стандартну сертифікацію; ті, хто не вдається, позначаються як лише випробувані. Якщо програма перевищує необхідний мінімум, вона може отримати сертифікат Advanced або Advanced +.

Тест на виявлення файлів AV-Comparatives - це простий статичний тест, який перевіряє кожен антивірус на наявність близько 100 000 зразків зловмисного програмного забезпечення, з тестом на помилкові позитиви для забезпечення точності. А тест на ефективність, як і тест AV-тесту, вимірює будь-який вплив на продуктивність системи. Раніше ми включали евристичний / поведінковий тест; цей тест був упущений.

Ми вважаємо, що динамічний тест на весь продукт AV-Comparatives є найбільш значущим. Цей тест має на меті максимально ретельно імітувати фактичний досвід користувача, дозволяючи всім компонентам продукту безпеки вжити заходів проти зловмисного програмного забезпечення. Нарешті, тест на виправлення починається зі збору зловмисного програмного забезпечення, яке, як відомо, всі тестовані продукти виявляють та оскаржують продукти безпеки для відновлення зараженої системи, повністю видаляючи зловмисне програмне забезпечення.

Там, де AV-Test та AV-Comparatives зазвичай включають в тестування 20–24 вироби, SE Labs, як правило, повідомляє про не більше 10. Це значною мірою через характер тестування цієї лабораторії. Дослідники фіксують веб-сайти, що містять зловмисне програмне забезпечення в реальному світі, і використовують техніку повторного відтворення, щоб кожен продукт стикався з точно однаковим завантаженням або іншою веб-атакою. Це надзвичайно реалістично, але важко.

Програма, яка повністю блокує одну з цих атак, отримує три бали. Якщо після нападу було вжито заходів, але вдалося видалити всі виконувані сліди, то це варто два бали. І якщо вона просто припинила атаку, без повного очищення, вона все одно отримує один бал. У випадку нещасного випадку, коли зловмисне програмне забезпечення працює безкоштовно в тестовій системі, продукт, який тестується, втрачає п'ять балів. Через це деякі продукти фактично набрали нижче нуля.

В окремому тесті дослідники оцінюють, наскільки добре кожен продукт утримується від помилкового ідентифікації дійсного програмного забезпечення як зловмисного, зважуючи результати, виходячи з поширеності кожної дійсної програми, та наскільки великий вплив буде мати помилково-позитивна ідентифікація. Вони поєднують результати цих двох тестів і сертифікують продукцію на одному з п’яти рівнів: AAA, AA, A, B і C.

• Найкращі набори безпеки на 2019 рік. Найкращі комплекти безпеки на 2019 рік
• Найкращий антивірусний захист на 2019 рік Найкращий захист від антивірусу на 2019 рік
• Кращий безкоштовний антивірусний захист на 2019 рік Найкращий безкоштовний антивірусний захист на 2019 рік

Деякий час ми використовували подачу зразків, наданих MRG-Effitas, у нашому тесті на блокування шкідливих URL-адрес. Ця лабораторія також випускає квартальні результати для двох тестів, які ми виконуємо. Тест 360 Assessment & Certification моделює захист у реальному світі від поточної шкідливої ​​програми, подібно до динамічного тесту в реальному світі, що використовується AV-Comparatives. Продукт, який повністю запобігає зараженню набором зразків, отримує сертифікацію рівня 1. Сертифікація рівня 2 означає, що принаймні деякі зразки зловмисного програмного забезпечення висаджували файли та інші сліди в тестовій системі, але ці сліди були усунені до наступного перезавантаження. Сертифікація Інтернет-банків дуже спеціально перевіряє захист від фінансових зловмисних програм та ботнетів.

Скласти загальний підсумок лабораторних результатів непросто, оскільки лабораторії не перевіряють однакову колекцію програм. Ми розробили систему, яка нормалізує показники кожної лабораторії до значення від 0 до 10. Наша сукупна діаграма результатів лабораторії повідомляє про середнє балів, кількість лабораторних тестувань та кількість отриманих сертифікатів. Якщо лише одна лабораторія включає продукт в тестування, ми вважаємо, що це недостатня інформація для сукупного балу.

Можливо, ви зазначили, що цей список методів тестування не охоплює віртуальних приватних мереж або VPN. Тестування VPN дуже відрізняється від тестування будь-якої іншої частини пакета безпеки, тому ми надали окреме пояснення того, як ми тестуємо VPN-сервіси.