Чаще всего оно обуславливается тем, что если взять ограниченный набор образцов, то мы можем оценить лишь качество детектирования конкретно этого набора, но не всех существующих вирусов вместе.
Вполне очевидно, что это правда, однако если ваши данные будут уничтожены каким-либо вирусом, вам будет безразлично, насколько хорош ваш антивирус в целом - важны конкретные моменты. Поэтому, мы случайным образом выбираем ограниченный набор образцов для тестирования и оцениваем качество детектирования на нем, допуская, что где-то там этот антивирус может показать себя лучше или хуже.
В данном тестировании приняли участие следующие продукты:
Антивирус | Производитель |
Eset NOD32 4.2 | ESET |
Avast 6 Free | AVSoft |
Dr.Web 6 | ООО "Доктор Веб" |
Антивирус Касперского 2011 | ЗАО "Лаборатория Касперского" |
Dr.Web CureIt! | ООО "Доктор Веб" |
Comodo Antivirus 2011 | Comodo Group, Inc. |
Avira Antivir Personal* | Avira |
Avira AntiVir Premium* | Avira |
Emsisoft Anti-Malware 5 | Emsisoft |
Emsisoft Anti-Malware 6 | Emsisoft |
Norton Internet Security 2011** | Symantec |
Symantec Endpoint Protection 12** | Symantec |
G-Data Internet Security 2012 EN*** | G Data Software AG |
G-Data Internet Security 2011 RU*** | G Data Software AG |
G-Data Internet Security 2010 RU*** | G Data Software AG |
Panda Cloud | Panda Security |
Panda Antivirus 2011 Pro | Panda Security |
AVG Internet Security 2011 | AVG |
BitDefender 2011 Pro | BitDefender |
Microsoft Security Essentials | Microsoft |
McAfee VirusScan Enterprise 8.8 | McAfee Security |
* Personal - бесплатная версия, Premium - платная, но результаты показывают одинаковые, поэтому мы исключаем Premium из таблиц результатов и задаемся вопросом, зачем покупать этот продукт;
** Как было установлено NIS2011 и SEP12 используют одинаковые антивирусные базы и между собой они различаются только интерфейсом. Мы остановимся на NIS2011 как продукте, ориентированным на домашнего пользователя;
*** В ходе предыдущего тестирования G-Data показал себя лидером по качеству детектирования, поэтому мы взяли сразу три версии этого продукта, оказалось, что они ничем не отличаются кроме интерфейса и скорости работы (версия 2012 работает быстрее других), поэтому мы оставим G-Data 2012 в таблицах, а две предыдущие версии опустим;
Теперь немного о методике. Тестерам были предложены четыре коллекции с образцами вредоносного ПО, хакерскими утилитами, программами-шутками и различным мусором (вроде поврежденных программ). Тестер должен был настроить антивирус на удаление всего обнаруженного (либо на перенос в карантин, что равносильно), обновить его в день тестирования, и с такими настройками просканировать полученные коллекции. В результат шло количество оставшихся после работы антивируса файлов. Сами коллекции представляют собой следующее:
Для первого этапа предлагался набор из отобранных вручную образцов вирусов 1996~2008 года создания. Образцы проверены на запускаемость в среде Windows XP SP3. Самые опасные смогли уничтожить необходимые для загрузки ОС файлы, самые безопасные после запуска сразу закрылись. Ожидаемый результат - обнаружение 94 файлов из 96.
Для второго этапа был сформирован набор из всего, что удалось найти - это и рабочие вирусы, и несамостоятельные их компоненты, и зараженные файлы, и даже примитивные bat-вирусы. Собственно, треть файлов в этой коллекции не несет прямой опасности, поэтому ожидаемый результат - около 3500 обнаружений.
Для третьего этапа была взята коллекция с предыдущего тестирования. Мы хотели сравнить, как со временем изменится качество обнаружения конкретных образцов у антивирусов, ведь известно, что некоторые производители исключают из баз старые вирусы с целью ускорения работы продукта. Основная цель данного этапа - сравнение количества обнаружений с данными предыдущего тестирования.
Для четвертого этапа были отобраны новейшие образцы вредоносного ПО 2010~2011 года создания. О качестве работы антивирусов мы будем говорить, опираясь, в основном, на этот этап.
Первый этап:
В коллекции для данного этапа содержались 96 файлов, каждый был проверен на виртуальной машине под Windows XP SP3 на предмет запускаемости. Из них 2 файла после запуска сразу закрываются, поэтому оптимальный результат - 94 детектирования:
предмет запускаемости. Из них 2 файла после запуска сразу закрываются, поэтому оптимальный результат - 94 детектирования:
Антивирус | Пропущено: | Ожидается пропусков: |
Eset NOD32 4.2 | 2 | 2 |
Avast 6 Free | 1 | |
Dr.Web 6 | 2 | |
Антивирус Касперского 2011 | 0 | |
Dr.Web CureIt! | 5 | |
Comodo Antivirus 2011 | 1 | |
Avira Antivir Personal | 3 | |
Emsisoft Anti-Malware 5 | 0 | |
Emsisoft Anti-Malware 6 | 1 | |
Norton Internet Security 2011 | 1 | |
G-Data Internet Security 2012 | 0 | |
Panda Cloud | 2 | |
Panda Antivirus 2011 Pro | 1 | |
AVG Internet Security 2011 | 1 | |
BitDefender 2011 Pro | 1 | |
Microsoft Security Essentials | 1 | |
McAfee VirusScan Enterprise 8.8 | 1 |
Большинство антивирусов справились на этом этапе неплохо. Отдельно стоит отметить Антивирус Касперского, Emsisoft и G-Data, которые нашли опасность там, где ее на самом деле не было. Ну и Dr.Web CureIt!, который пропустил слишком много опасных объектов.
Второй этап:
Для данного этапа была подготовлена коллекция из 6164 файлов, в которой, по примерным оценкам, 3500 файлов содержат опасный код. Остальные файлы не представляют опасность либо потому, что они впринципе не запускаются, либо потому, что они ничего не делают, либо это обычные пользовательские программы, часть из которых была "вылечена" после заражения. Итак, результаты данного этапа:
Антивирус | Пропущено: | Ожидается пропусков: |
Eset NOD32 4.2 | 3824 | 2700 |
Avast 6 Free | 99 | |
Dr.Web 6 | 630 | |
Антивирус Касперского 2011 | 68 | |
Dr.Web CureIt! | 635 | |
Comodo Antivirus 2011 | 19 | |
Avira Antivir Personal | 5234 | |
Emsisoft Anti-Malware 5 | 265 | |
Emsisoft Anti-Malware 6 | 269 | |
Norton Internet Security 2011 | 383 | |
G-Data Internet Security 2012 | 28 | |
Panda Cloud | 1590 | |
Panda Antivirus 2011 Pro | 171 | |
AVG Internet Security 2011 | 1464 | |
BitDefender 2011 Pro | 138 | |
Microsoft Security Essentials | 247 | |
McAfee VirusScan Enterprise 8.8 | 77 |
Как видно, большинство антивирусов предпочитают "прямой" подход к вопросу детектирования - если в файле есть участки кода, напоминающие обнаруженные в вирусах, файл автоматически определяется как опасный, даже если это на самом деле не так. Другая ситуация, когда файл вируса опасен, но поврежден и в силу этого не может быть запущен. Данный этап демонстрирует, что даже при срабатывании антивируса, файл не обязательно представляет опасность, это всего лишь значит, что в нем нашлись похожие на то, что есть в антивирусных базах, участки кода. По этой причине антивирусы часто срабатывают на кейгены, патчи и модули обхода защиты, которые на самом деле могут и не нести опасности.
Третий этап:
Данный этап был проведен исключительно для сравнительного анализа результатов прошлых детектирований с текущими. Мы пытаемся установить, какие продукты со временем удаляют записи о старых вирусах из своих баз, а какие - нет. Напомним, что всего в коллекции было 3339 файлов:
Антивирус | Обнаружено ранее: | Обнаружено сейчас: |
Eset NOD32 4.2 | 1690 | 1694 |
Avast 6 Free | 3327 | 3321 |
Dr.Web 6 | 2833 | 2829 |
Антивирус Касперского 2011 | 3324 | 3322 |
Dr.Web CureIt! | 2821 | 2820 |
Comodo Antivirus 2011 | 3331 | 3334 |
Avira Antivir Personal | 3247 | 643 |
Emsisoft Anti-Malware 5 | 3337 | 3125 |
Norton Internet Security 2011 | 2830 | 3027 |
G-Data Internet Security 2012 | 3337 | 3335 |
Panda Cloud | 3089 | 2900 |
Panda Antivirus 2011 Pro | 3229 | 3229 |
AVG Internet Security 2011 | 2868 | 2514 |
BitDefender 2011 Pro | 3253 | 3252 |
Microsoft Security Essentials | 3152 | 3152 |
McAfee VirusScan Enterprise 8.8 | 3311 | 3311 |
В основном, все антивирусы показали идентичные результаты с небольшой погрешностью. Единственная странность - Avira, которая обнаружила примерно в пять раз меньше образцов, чем в прошлый раз.
Четвёртый этап:
Основной этап нашего тестирования. Здесь приведены образцы вредоносного ПО 2010 ~ 2011 года создания, именно эти цифры покажут, насколько хорошо антивирусы справляются с новыми угрозами. В данной коллекции около 10 безопасных файлов - это несамостоятельные компоненты каких-то вирусов, которые, тем не менее, должны детектироваться современными антивирусами. Итак, смотрим на результаты:
Антивирус | Пропущено: | Ожидается пропусков: |
Eset NOD32 4.2 | 66 | 0 |
Avast 6 Free | 69 | |
Dr.Web 6 | 99 | |
Антивирус Касперского 2011 | 24 | |
Dr.Web CureIt! | 122 | |
Comodo Antivirus 2011 | 96 | |
Avira Antivir Personal | 26 | |
Emsisoft Anti-Malware 5 | 14 | |
Emsisoft Anti-Malware 6 | 14 | |
Norton Internet Security 2011 | 151 | |
G-Data Internet Security 2012 | 16 | |
Panda Cloud | 367 | |
Panda Antivirus 2011 Pro | 47 | |
AVG Internet Security 2011 | 50 | |
BitDefender 2011 Pro | 40 | |
Microsoft Security Essentials | 167 | |
McAfee VirusScan Enterprise 8.8 | 163 |
Выводы:
В первую очередь, хочется отметить, что от тестирования к тестированию результаты немного меняются, лидеры уходят на второе место, уступая дорогу новичкам, продукты, которые показывали не очень хорошие результаты, выходят в лидеры - идет борьба за пользователей. Конечно, есть отдельные продукты, которые стабильно входят в тройку лидеров, но в целом - многое меняется. При подведении итогов мы постараемся отойти от стереотипных представлений об антивирусах и высказать свое мнение так, как если бы мы работали с ними впервые:
Eset NOD32 4.2 неплохо показал себя в ходе всех этапов тестирования. Он прекрасно обнаружил угрозы на первом и втором этапах, на третьем он доказал, что не удаляет из базы опасные старые вирусы, как это делает большинство, а на четвертом этапе он показал один из лучших результатов по детектированию современных угроз. Такой продукт можно смело рекомендовать пользователям любого уровня подготовки.
IwanS: радует, что он не тормозит и размер его обновлений меньше, чем у большинства других антивирусов. показал себя намного лучше, чем в прошлом году, видна работа по повышению качества продукта. оставлю себе основным антивирусом.
Avast 6 Free показал очень много ложных срабатываний на безвредные файлы и в ходе третьего этапа обнаружил меньше угроз, чем год назад, что говорит об удалении из базы старых угроз. На четвертом этапе показал себя неплохо, но проблема ложных срабатываний ставит под сомнение целесообразность его использования неподготовленными пользователями.
IwanS: бесплатный, иногда сильно грузит систему и, как уже было сказано, без причины ругается на всякие патчи, кейгены и утилиты обхода защиты. думаю, качество его работы обусловлено исключительно параноидальностью, а не обширным набором данных о вирусах.
Dr.Web 6 показал относительно неплохие результаты на первых трех этапах и средний результат на четвертом. Неплохой вариант для домашнего использования, но за аналогичную цену есть продукты и лучше.
IwanS: эта... штуковина... заставила меня вводить капчу (!) при попытке отключить резидентную защиту. не слушается собственных настроек, при выборе опции "удалять найденное" все равно спрашивает, что же ему делать. впечатление смешанное.
Антивирус Касперского 2011 показал отличные результаты детектирования и множество ложных срабатываний. В целом, по уровню работы аналогичен бесплатному Avast!, разве что тормозит систему гораздо сильнее.
IwanS: когда-то был моим любимым антивирусом и не раз меня выручал, но последние две версии получились из рук вон плохо - были добавлены всякие модные плюшки вроде виртуальной клавиатуры или поведенческого анализатора, но никто не вспомнил, что он и без того тормозил, а теперь вообще вешает систему при каждом движении...
Dr.Web CureIt! - бесплатный сканер от DrWeb, фактически, самостоятельный кусок антивируса. Качество обнаружения хуже, чем у большинства проверенных антивирусов, не обладает резидентным сканером и годен лишь для проверки ПК в экстренной ситуации.
Comodo Antivirus 2011 по уровню ложных срабатываний обошел абсолютно всех, однако качество детектирования современных угроз держится на среднем уровне. В итоге общее качество можно оценить как "ниже среднего".
IwanS: абсолютно тупой интерфейс, работает медленно, неудобен в управлении и вообще непонятно для кого делался. comodo раньше никогда не делала антивирусы, решила попробовать и у них ничего не получилось. такое вот мое скромное мнение.
Avira Antivir Personal показал плохой уровень обнаружения старых угроз и отличный уровень обнаружения новых. Стратегия антивируса - удаление из базы старых записей с целью ускорения работы. Мы считаем эту стратегию ненадежной и оцениваем качество работы продукта в целом как "ниже среднего".
IwanS: повторюсь, меня поразило отсутствие различий между платной и бесплатной версиями продукта. они даже выглядят одинаково, вся разница в надписи "Personal" против "Premium". может быть, есть какая-то правовая база для поддержания двух одинаковых редакций, не знаю, но после тестирования этот продукт меня в очередной раз озадачил... и, да, за этот год они выкинули из базы около 3000 записей о вирусах, которые встречаются в нашей коллекции, это совсем подрывает доверие к продукту.
Emsisoft Anti-Malware - сравнительно молодой продукт, который показал прекрасное качество работы на всех четырех этапахи даже нашел больше всех современных угроз. оценить работу можно только как "отлично", будем следить за успехами продукта.
Norton Internet Security 2011 на протяжении всех тестирований всегда показывал средние результаты, сейчас ситуация аналогичная. Да, он хорошо показал себя на старых образцах, но в случае с детектированием новых угроз его результат четвертый с конца. Это не очень хороший результат.
G-Data Internet Security 2012 немецкий аналог нашего Касперского - обнаруживает все, что только есть, показывает множество ложных срабатываний и при этом еще дико тормозит. Последняя версия сделала шаг вперед в плане скорости работы, но результат все равно оставляет желать лучшего.
IwanS: после прекрасных результатов на предыдущем тестировании многие посетители решили сменить антивирус на G-Data. установили, обновили и... у них все зависло. как мне написал один из наших читателей - "таких страшных тормозов я в жизни не видел". сомнительный выбор, если честно...
Panda Cloud показал плохие результаты на всех этапах тестирования, ужасный интерфейс и абсолютную бесполезность в плане защиты безопасности компьютера. Самая низкая оценка в рамках данного тестирования.
IwanS: я бы охарактеризовал это как "программа-шутка", потому что при размере в 10 мегабайт вряд-ли оно будет хорошо детектировать угрозы. Интерфейс во истину топорный, в программе ВСЕГО около десяти кнопок и переключателей, никаких существенных настроек нет. при сканировании создается ощущение, что он наугад выбирает файлы и помечает их как опасные. разработчикам пять баллов за чувство юмора.
Panda Antivirus 2011 Pro показал средние результаты в ходе первых трех этапов и неплохой результат на современных образцах, но тормозит и неудобен в управлении. Средняя оценка - это больше, чем заслуживает продукт такого уровня.
IwanS: в программе при сканировании написано "сканирование с Коллективным разумом". вероятно, это делали те же люди, что и Panda Cloud, но теперь им наконец сообщили, что они делают настоящий антивирус, а не муляж.
AVG Internet Security 2011 - средние показатели детектирования угроз как на старых, так и на современных образцах. Можно поставить оценку "средне".
Michael: язык не поворачивается назвать эту штуку антивирусом. да, он "работает", но толку в платном антивирусе (50$, между прочим!), показывающем намного более низкий результат, чем бесплатный Avast? далее - интерфейс. ужасно перегружен всякой ненужной ерундой, направленной скорее на повышение авторитетности в глазах неопытного пользователя, чем на реальное удобство. Когда видишь такое обилие разбросанного по всему экрану текста и картинок, начинаешь элементарно теряться (о новомодном минимализме они наверное и не слышали). настроить его просто нереально - большинство необходимых параметров попросту скрыты. категорически не рекомендую этот "антивирус" к использованию (тем более, за такие деньги)!
BitDefender 2011 Pro показал средний уровень обнаружения и множество ложных срабатываний на первых этапах и неплохой результат на современных образцах. К минусам можно отнести уже привычные тормоза и крайне неудобный интерфейс, один из самых неудобных среди тестируемых продуктов.
IwanS: среди всех тестируемых продуктов, bitdefender бесит меня больше других. нет, не качеством работы или заморочками с регистрацией. просто - это ужасный интерфейс, все неудобно, некрасиво, тормозит и на мой взгляд так делать просто нельзя. да, признаю, он там что-то находил и вроде даже неплохо, но пока установишь этот продукт, хочется разбить монитор...
Microsoft Security Essentials показал довольно посредственные результаты в детектировании современных угроз, ввиду чего для домашнего пользователя годится слабо. удобный, быстрый, но бесполезный.
IwanS: недавно читал, что этот продукт занимает лидирующие позиции по числу пользователей среди бесплатных антивирусов в США. сочувствую, что сказать...
McAfee VirusScan Enterprise 8.8 по качеству обнаружения современных угроз уступает даже MS Security Essentials, однако сюда добавляется невысокая скорость работы и более загруженный интерфейс. Оценка "ниже среднего".
Отдельно отметим, что от переизбытка эмоций тестер frostmid прокомментировал работу антивируса Avast! 6 как "жнецуй жнец жнецово по-жнецовски чтоб жнецы зажнецевали за жнецов" и попросил включить это в отчет как его окончательную позицию по рассматриваемому вопросу. Что ж, в благодарность за проделанную работу я включаю его мнение в отчет...
Напоминаем главный принцип нашего тестирования - воспроизводимость результатов, любые цифры вы можете проверить лично, просто скачав соответствующий продукт, нужную коллекцию и проверив ее обновленным продуктом. На этом прощаемся с вами на полгода, благодарим за внимание и ждем комментариев и замечаний. Всего доброго и безопасной вам работы!
Источник: http://admin-club.net/