Многие проводимые в мире тестовые испытания антивирусов на качество защиты подвергались критическим замечаниям профессиональной общественности о некой их синтетичности или отрыву от реальный жизни.  Первая и основная претензия сводилась к тому, что при запуске проверки файловых коллекций тестируются только некоторые составляющие антивирусной защиты, такие как классический сигнатурный детект или эвристика. В то время как не учитывается возможный вклад других технологий, например, поведенческий анализ, HIPS или репутационные сервисы, Firewall/IDS, проверка HTTP трафика на лету и т.д. Вторая веская причина состоит в том, что реальный пользователь не хранит и не запускает старинные вредоносные программы на своем жестком диске. К нему попадают, как правило, совсем новые самплы (Zero-day), от которых его антивирус может не защитить. От метода проникновения также в значительной степени может зависеть эффективность, так как у некоторых антивирусов угроза заражения может быть ликвидирована еще на стадии запуска вредоносного скрипта на веб-странице, а у других - только при активации загруженного эксплойтом программы-загрузчика, у третьего еще дальше - при запуске загруженной вредоносной программы. В данном тестировании изучались комплексная эффективность антивирусов по противодействию новейшим образцам вредоносных программ, передаваемых пользователям наиболее распространенным сейчас способом - через зараженные веб-сайты. Собирались ссылки на зараженные сайты из различных источников. Как правило, на такие ссылки каждый из нас  натыкается в поисковиках, получает по e-mail, ICQ или другие средства интернет коммуникации, включая социальные сети.

Результаты тестирования 

В тесте участвовали 18 антивирусных программ от различных производителей:

1. Avast Antivirus Professional 4.8-1335
2. AVG Internet Security 8.5.386
3. Avira Premium Security Suite 9.0.0.377
4. BitDefender Internet Security 2009 (12.0.12)
5. Comodo Internet Security 3.9.95478.509
6. Dr.Web Security Space 5.0.1.06018
7. Eset Smart Security 4.0.437
8. F-Secure Internet Security 2009 (9.00 build 149, он же СТРИМ.Антивирус)
9. G DATA Internet Security 2010 (20.0.2)
10. Kaspersky Internet Security 2010 (9.0.0.459)
11. McAfee Internet Security Suite 13.11
12. Microsoft Security Essential 1.0.2140.0
13. Norton Internet Security 2009 (16.5.0.135)
14. Outpost Security Suite 2009 (6.5.5.2535.385.0692)
15. Panda Internet Security 2010 (15.00.00)
16. Sophos Anti-Virus 7.6.9
17. Trend Micro Internet Security 2009 (17.1.1250/8.913.1006)
18. * VBA32 Workstation 3.12.10.10

*  Антивирус VBA32 Workstation был дисквалифицирован, так как в процессе его тестирования возникли технические проблемы, продукт некорректно работал в итоге часть результатов была потеряна.  Также в тесте участвовали две специальные программы для проактивной защиты от новейших видов угроз класса HIPS (Hosted Intrusion Prevention System):

1. DefenseWall HIPS 2.56
2. Safe'n'Sec Personal 3.5.0.490

Согласно методологии для  тестирования было отобрано 36 рабочих ссылок на новейшие вредоносные программы, на которых и проверялась эффективность защиты.

  Итоговые результаты теста

Итоговые результаты сравнительного тестирования антивирусных программ и HIPS представлены ниже на рисунке и таблице 1.

 По результатам теста лучшим по эффективности защиты от новейших вредоносных программ оказался DefenseWall HIPS, сумевший предотвратить заражение в 100% случаев. Он становится единственным, получившим наивысшую награду Platinum Zero-day Protection Award. Очень высокие результаты показали сразу три антивирусных продукта: Kaspersky Internet Security, Comodo Internet Security и Trend Micro Internet Security, которые смогли предотвратить заражение более чем в 80% случаев и получили высокую награду Gold Zero-day Protection Award. Если результат первого из них после аналогичного пилотного теста в прошлом году вполне ожидаем, то результаты двух других оказались весьма неожиданными. Хорошую эффективность защиты от новейших вредоносных программ продемонстрировали Sophos Anti-Virus, Safe'n'Sec Personal, Avira Premium Security Suite, Norton Internet Security и Avast Antivirus Professional. Они получили награду Silver Zero-day Protection Award. Из этой группы существенный прогресс в предотвращении новейших угроз в сравнении с прошлогодним пилотным тестированием заметен у антивирусов Norton и Avast. Чуть хуже оказались антивирусы Eset Smart Security, AVG Internet Security, Microsoft Security Essential и G-DATA Internet Security, преодолевшие барьер в 40% и получившие награду Bronze Zero-day Protection Award. Важно отметить, что новый бесплатные антивирус от Microsoft весьма немлохо дебютировал, опередив многих платных конкурентов. Все остальные антивирусы провалили тест, среди них: F-Secure Internet Security (он же СТРИМ.Антивирус), McAfee Internet Security Suite, Outpost Security Suite, Panda Internet Security, BitDefender Internet Security и Dr.Web Security Space. Увы, эти продукты нельзя считать эффективными против новейших вредоносных программ. Результаты BitDefender и Dr. Web серьезно снизились в сравнении с прошлогодним пилотным тестированием.

Тест проводился в период с 7 июля по 22 октября 2009 года. Перед началом теста производилась подготовка среды тестирования. Для этого под управлением VMware Workstation 6.0 был создан набор чистых виртуальных машин, на которые была установлена операционная система Microsoft Windows XP Pro SP3 (последние обновления намеренно не ставились). На каждую машину по отдельности была установлена своя программа защиты из числа приведенных ниже. По возможности мы брали в тест продукты для интегрированной защиты класса Internet Security, но если таковых в линейке вендора не было, то  использовали младшие в линейке продукты. Для теста выбирались ссылки на сайты, зараженные только новейшими образцами вредоносных программ. Что означает «новейшие»? Это означает, что эти загружаемые по ссылкам образцы вредоносных программ не должны были детектироваться файловыми антивирусами более чем 20% из списка тестируемых продуктов, что проверялось через сервис VirusTotal (всего на этом сервисе подключено 41 различный антивирусный движок). Если отобранные самплы и детектировались кем-то, то вердикты как правило были неточными (подозрение на заражение или упакованный объект). Количество образов, удовлетворяющих таким требованиям, было очень небольшим, что существенно отразилось на размере итоговой выборки и сроках тестирования. Всего более за несколько месяцев тестирования было отобрано 36 рабочих ссылок на новейшие вредоносные программы, которые и использовались в тесте.

Анализ результатов

При переходе по ссылкам на опасные веб-страницы фиксировались все изменения тестовой системы, сообщения от установленных HIPS и антивирусных и программ. При открытии опасной ссылки заражение системы могло быть предотвращено на одной из следующих стадий:

1. Обнаружение эксплойта на открытой веб-странице (вредоносного скрипта) или блокировка открытия страницы анти-фишинговым модулем.
2. Обнаружение программы загрузчика, переданной при помощи эксплойта (специальной программы, которая используется для загрузки на компьютер жертвы других вредоносных программ, например, трояна) веб-антивирусом или файловым антивирусом.
3. Обнаружение загруженной вредоносной программы в процессе ее установки (как правило, при помощи поведенческого анализа).
4. Предупреждение пользователя о потенциально опасном сайте или файле, основываясь на его рейтинге в репутационных сервисах (модель "In The Cloud").

При любом из приведенных выше вариантов предотвращения заражения антивирусу ставился 1 балл. Различий не делалось, так как с точки зрения пользователя не имеет значения, на каком этапе, и какой именно компонент защиты устранил угрозу заражения. Главное - она ликвидирована. Если заражение не было предотвращено, в том числе и частично, то антивирусу ставилось 0 баллов. На деле такая система оценки означает следующее. 1 балл ставился, если попытка заражения  была обнаружена в явной форме или было обнаружено подозрительное действие, и при этом заражение полностью приостановлено при условии правильного выбора пользователя в диалоговом окне (об обнаружении опасного действия, предотвращении попытки заражения, обнаружении попытки запуска подозрительной программы, обнаружении попытка изменения файлов и т.д.). Во всех остальных случаях ставилось 0 баллов. Стоит отметить, что в некоторых случаях присутствие вредоносной программы на компьютере могло обнаруживаться уже после заражения при помощи файлового монитора или firewall/IDS, но справиться с заражением антивирус не мог. В этом случае антивирусу все равно ставилось 0 баллов, так как он не защитил от заражения. Программы класса HIPS оценивались по такому же принципу, как и антивирусы. Им ставилось 1 балл во всех случаях, когда было обнаружена вредоносная или подозрительная активность и было предотвращено заражение.

  Схема награждения

Для каждого тестируемого антивируса или HIPS-продуктов подсчитывалось суммарное количество баллов и их процент от максимально возможного (36 баллов). В итоге лучшие продукты получают соответствующие награды при выполнении определенных условий:

	Награда Platinum Zero-day Protection Award присваивается, если антивирус обнаружил свыше 95% новейших вредоносных программ.
	Награда Gold Zero-day Protection Award присваивается, если антивирус обнаружил свыше  80% новейших вредоносных программ.
	Награда Silver Zero-day Protection Award присваивается, если антивирус обнаружил свыше 60% новейших вредоносных программ.
	Награда Bronze Zero-day Protection Award присваивается, если антивирус обнаружил свыше 40% новейших вредоносных программ.

Если антивирус обнаружил менее 40% новейших вредоносных, то он считается провалившим тест, а его общая эффективность против новейших видов угроз низкой.