Ce comparatif s'appuie sur trois tests pour mettre les suites à rude épreuve : détection des codes inconnus, exécution de codes inconnus et tentatives de pervertissement du système.

Détection des codes inconnus

Le premier test est un test de détection. Il cherche à mesurer l'efficacité des « détections heuristiques », qui consistent à repérer un fichier dangereux sans que celui-ci n'ait été formellement reconnu par une signature spécifiquement réalisée pour lui. Nous avons téléchargé plus de 1 500 fichiers vérolés en moins de 48 heures. Sur ces 1 500 fichiers, 100 ont été retenus comme étant suffisamment différents les uns des autres. Ils ont alors été soumis à la détection des moteurs tels qu'ils étaient 15 jours plus tôt.
L'analyse a d'abord été réalisée avec les paramètres par défaut, puis avec toutes les protections de la suite poussées à leur maximum de sensibilité. Ce test a été réalisé sans connexion à Internet afin d'être sûr qu'aucune suite ne récupère de mises à jour, qui compenseraient ses capacités heuristiques. Les suites s'appuyant sur une analyse « on the cloud » sont évidemment très désavantagées puisqu'on leur interdit l'usage de leur principal niveau de protection.

Exécution de codes inconnus

Le second test est un test d'exécution. Sur les 100 fichiers retenus, nous en avons sélectionné 16 qui n'avaient été reconnus par aucune suite lors de la détection. Et nous avons exécuté ses codes malveillants. La plupart étaient des trojans. Dans ces fichiers malveillants, il y avait aussi deux « bots », dont l'un intégrait un mécanisme de rootkit, ainsi que deux « keygens » (générateurs de clés), qui tentaient d'entrer en communication avec des serveurs de cybercriminels, deux téléchargeurs de « scarewares », deux « scarewares », un keylogger et une installation flash infectée. Nous avons poussé les défenses à leur maximum et, à l'aide de plusieurs outils, surveillé si la menace était totalement, partiellement ou pas du tout neutralisée.

Tentatives de pervertissement du système

La troisième épreuve est un test de protection des zones sensibles. Ce test s'appuie sur une application conçue par nos soins qui tente de pervertir 2 zones critiques du système (soit en y insérant un exécutable soit en modifiant une valeur en base de registres). On regarde ensuite ce qui est passé ou pas. Et on obtient une note de résistance.