Експерти засувають антивірусне дослідження

Минулого місяця охоронна компанія Imperva опублікувала похмуре дослідження, в якому висловилося припущення, що дорогі пакети безпеки можуть не коштувати цінника і що всі антивірусні програми страждають від величезних сліпих плям. Дослідження приречених і похмурих, як це, завжди вимагають здорового зерна солі, але після розмови з численними експертами галузі може знадобитися цілий шейкер.

Компанія Imperva розглядала різні рішення безпеки таких постачальників, як Kaspersky, Avast, AVG, Microsoft та McAfee. Вони подавали ці довідники проти 82 випадково зібраних зразків зловмисного програмного забезпечення, вивчаючи, наскільки успішним було забезпечення програмного забезпечення для виявлення негідних програм.

Зі своєї роботи Імперва стверджує, що програмне забезпечення проти зловмисного програмного забезпечення недостатньо швидко та не реагує на боротьбу із сучасними загрозами. Програмне забезпечення безпеки, пише Імперва, "набагато краще виявляє шкідливе програмне забезпечення, яке швидко поширюється у величезній кількості однакових зразків, тоді як варіанти, що мають обмежене розповсюдження (наприклад, напади, спонсоровані урядом), зазвичай залишають велике вікно можливостей".

Вони також не знайшли кореляції між витраченими на захист від вірусів грошима та безпекою, що надається програмним забезпеченням, і пропонують клієнтам як приватним, так і корпоративним клієнтам шукати безкоштовні альтернативи.

Незалежні лабораторії відштовхуються

Дослідження привернуло багато уваги, але, розмовляючи з професіоналами безпеки та деякими компаніями, названими в цьому дослідженні, Security Watch виявила багатьох, хто вважає це дослідження глибоким недоліком.

Практично кожна лабораторія чи охоронна компанія вважала, що розмір вибірки зловмисного програмного забезпечення Imperva був занадто малим, щоб підтвердити висновки, зроблені дослідженням. Андреас Маркс AV-Test повідомив нам, що його фірма отримує близько мільйона зразків нових унікальних шкідливих програм на тиждень. Так само Пітер Стельжаммер з AV-Comparatives сказав нам, що вони отримують 142 000 нових шкідливих файлів щодня.

Зі свого боку, Імперва написав у дослідженні, що вони навмисно використовували невелику вибірку, але наполягають на тому, що це демонстративно існуючих загроз. "Наш вибір шкідливих програм не був упередженим, але був випадковим чином взято з Інтернету, що відображає потенційний метод побудови атаки", - пише Імперва.

Однак, директор з досліджень лабораторій NSS Ренді Ейбрамс різко трактував методологію Імперви. "Пошук імені файлів гарантовано пропускає складні атаки, а також більшість інших шкідливих програм", - сказав Абрамс для Security Watch, коментуючи засоби, які Imperva використовувала для пошуку шкідливих програм для дослідження. "Орієнтація на російські форуми суттєво упереджує збірник зразків. Очевидно, що жодна думка не пішла на отримання репрезентативного набору зразків у реальному світі".

Проблеми методології

Для проведення свого дослідження Imperva використовував онлайн-інструмент VirusTotal для проведення своїх тестів, який був названий критичною слабкістю тесту. "Проблема цього тесту полягає в тому, що він зірвав загрози у вигляді виконуваних файлів, а потім відсканував тих, хто використовує VirusTotal", - сказав Саймон Едвардс з Dennis Labs. "VT не є підходящою системою для використання при оцінці продуктів проти зловмисного програмного забезпечення в основному, оскільки сканери, що використовуються в VT, не підтримуються додатковою технологією, наприклад, системами веб-репутації."

Лабораторії Касперського, продукт якого був використаний у дослідженні, також поставили під сумнів методику тестування, застосовану Імпервою в експерименті. "Під час сканування потенційно небезпечних файлів сервіс VirusTotal, який використовується фахівцями Imperva, не використовує повні версії антивірусних продуктів, а лише покладається на автономний сканер", - написали лабораторії Касперського в заяві, виданій Security Security.

"Цей підхід означає, що більшість технологій захисту, наявних у сучасному антивірусному програмному забезпеченні, просто ігноруються. Це також впливає на проактивні технології, розроблені для виявлення нових, невідомих загроз".

Зокрема, частина веб-сайту VirusTotal заважає нікому не користуватися їх послугою в антивірусному аналізі. У розділі "Про" компанії йдеться: "Ми втомилися повторювати, що сервіс не був розроблений як інструмент для проведення антивірусних порівняльних аналізів. Ті, хто використовує VirusTotal для проведення антивірусних порівняльних аналізів, повинні знати, що вони роблять багато помилкових помилок у своїй методології. "

Абрамс також поміркував із використанням VirusTotal для проведення дослідження, сказавши, що інструмент можна використовувати для перекручування результатів до бажаних тестерами. "Компетентні досвідчені тестери знають краще, ніж використовувати VirusTotal для оцінки можливостей захисту нічого, крім чистого сканера командного рядка", - сказав він.

Imperva захищала використання VirusTotal у своєму дослідженні. "Суть звіту не в порівнянні антивірусних продуктів", - пише Імперва. "Швидше, мета полягає в вимірюванні ефективності одного антивірусного рішення, а також комбінованих антивірусних рішень з випадковим набором зразків зловмисного програмного забезпечення."

Хоча експерти, з якими ми спілкувались, погодилися з тим, що вразливості з нульовим днем ​​та новостворене зловмисне програмне забезпечення є проблемою, жоден не підтримував тверджень Imperva про терміни та низькі показники виявлення. "Найнижчий рівень захисту під час" реального "тесту на нульовий день становить 64-69 відсотків", - сказав Маркс для Security Watch. "У середньому ми бачили рівень захисту 88-90 відсотків для всіх тестованих продуктів. Це означає, що 9 з 10 атак будуть успішно заблоковані, лише 1 насправді спричинить зараження".

Ще одним ключовим висновком доповіді Imperva було те, що програмне забезпечення проти зловмисного програмного забезпечення добре розуміється творцями шкідливих програм, які налаштовують свої твори на підривні системи захисту. "Зловмисники глибоко розуміють антивірусні продукти, знайомляться зі своїми слабкими сторонами, визначають сильні моменти антивірусного продукту та розуміють їхні методи боротьби з високою частотою поширення нових вірусів в Інтернеті", - пише Імперва у дослідженні.

Дослідження продовжується, "варіанти, які мають обмежене поширення (наприклад, напади, спонсоровані урядом), зазвичай залишають великі можливості".

Stuxnet не йде за тобою

"Хлопці із шкідливим програмним забезпеченням дійсно жорсткі, вони сильні та розумні", - сказав Стелжамер. "Цілеспрямована атака завжди небезпечна". Але він та інші підкреслювали, що цільові атаки, де зловмисне програмне забезпечення спеціально розроблене для боротьби зі зловмисними програмами, настільки рідкісне, як і небезпечне.

Зусилля та інформація, необхідна для створення фрагмента зловмисного програмного забезпечення, щоб перемогти кожен рівень захисту, є великим. "Такий тест вимагає багато часу та навичок, тому вони недешеві", - написав Маркс. "Але це причина, чому їх називають" націленою "".

З цього моменту Ейбрамс кивнув: "Чесно кажучи, я дійсно не переймаюся тим, як Stuxnet потрапляє до мого комп'ютера і атакує центрифугу, що збагачує уран, в моєму будинку або в офісі роботодавця".

Практично всі, з ким ми говорили, погодились, принаймні в принципі, про те, що безкоштовні рішення щодо захисту від зловмисного програмного забезпечення можуть забезпечити гідний захист користувачів. Однак більшість не погодилися з тим, що це життєздатний варіант для клієнтів підприємства. Stelzhammer зазначає, що навіть якщо корпоративні користувачі хотіли користуватися безкоштовним програмним забезпеченням, ліцензійні угоди іноді заважають їм це робити.

"Справа не в виявленні", - сказав Стелжамер в інтерв'ю "Безпеці". "Йдеться про адміністрування, це про розгортання до клієнтів, про огляд. Ви цього не отримаєте з безкоштовним продуктом".

Поінформований користувач вдома, продовжуючи Stelzhammer, міг би використовувати шари безкоштовного програмного забезпечення для забезпечення захисту, порівнянного з платним програмним забезпеченням, але ціною простоти. "Він може організувати добре захищену систему з безкоштовним програмним забезпеченням, але найбільшою перевагою платного програмного забезпечення є зручність".

Однак Едвардс із Денніса Лабораторії не погодився з сприятливим порівнянням із вільним програмним забезпеченням. "Це суперечить усім нашим висновкам за багаторічні випробування", - сказав Едвардс. "Майже без винятку найкраща продукція оплачується". Ці висновки схожі на тестування програм PC Magazine щодо захисту від зловмисного програмного забезпечення.

З моменту публікації дослідження минулого місяця, Imperva написала допис у блозі, де захищала свою позицію. Виступаючи перед Security Watch, директор із стратегії безпеки Імперви Роб Рахвалд заявив: "Будь-яка критика, орієнтована на нашу методологію, не вистачає реальності, яку ми бачимо сьогодні". Він продовжував говорити, що більшість порушень даних є наслідком вторгнення зловмисного програмного забезпечення, яке компанія розглядає як доказ того, що нинішня модель анти-зловмисного програмного забезпечення просто не працює.

Хоча у висновках Імперви може бути якась властива правда, жоден із експертів, з якими ми говорили, не сприйняв це дослідження позитивно. "Як правило, я попереджаю про тестування, що спонсоруються постачальниками, але якби цей тест був проведений незалежною організацією, я би попередив проти самої організації", - написав Абрамс з NSS Labs. "Дуже рідко я стикаюся з такою неймовірно необдуманою методологією, неправильними критеріями збору зразків та непідтримуваними висновками, зведеними в єдиний PDF".

Щоб отримати більше інформації від Макса, слідкуйте за ним на Twitter @wmaxeddy.