Ce comparatif s'appuie sur trois tests pour mettre les suites à rude épreuve : détection des codes inconnus, exécution de codes inconnus et tentatives de pervertissement du système.

Détection des codes inconnus

Le premier test est un test de détection. Il cherche à mesurer l'efficacité des « détections heuristiques », qui consistent à repérer un fichier dangereux sans que celui-ci n'ait été formellement reconnu par une signature spécifiquement réalisée pour lui. Nous avons téléchargé plus de 1 500 fichiers vérolés en moins de 48 heures. Sur ces 1 500 fichiers, 100 ont été retenus comme étant suffisamment différents les uns des autres. Ils ont alors été soumis à la détection des moteurs tels qu'ils étaient 15 jours plus tôt.
L'analyse a d'abord été réalisée avec les paramètres par défaut, puis avec toutes les protections de la suite poussées à leur maximum de sensibilité. Ce test a été réalisé sans connexion à Internet afin d'être sûr qu'aucune suite ne récupère de mises à jour, qui compenseraient ses capacités heuristiques. Les suites s'appuyant sur une analyse « on the cloud » sont évidemment très désavantagées puisqu'on leur interdit l'usage de leur principal niveau de protection.

Exécution de codes inconnus

Le second test est un test d'exécution. Sur les 100 fichiers retenus, nous en avons sélectionné 16 qui n'avaient été reconnus par aucune suite lors de la détection. Et nous avons exécuté ses codes malveillants. La plupart étaient des trojans. Dans ces fichiers malveillants, il y avait aussi deux « bots », dont l'un intégrait un mécanisme de rootkit, ainsi que deux « keygens » (générateurs de clés), qui tentaient d'entrer en communication avec des serveurs de cybercriminels, deux téléchargeurs de « scarewares », deux « scarewares », un keylogger et une installation flash infectée. Nous avons poussé les défenses à leur maximum et, à l'aide de plusieurs outils, surveillé si la menace était totalement, partiellement ou pas du tout neutralisée.

Tentatives de pervertissement du système

La troisième épreuve est un test de protection des zones sensibles. Ce test s'appuie sur une application conçue par nos soins qui tente de pervertir 2 zones critiques du système (soit en y insérant un exécutable soit en modifiant une valeur en base de registres). On regarde ensuite ce qui est passé ou pas. Et on obtient une note de résistance.

Contrairement à une idée répandue, la détection n'est pas la solution à la multiplication des menaces. L'important n'est pas qu'un code malveillant soit détecté, mais que son action soit bien stoppée ! Quand les menaces étaient peu nombreuses, la détection était une excellente parade car elle agissait en amont. Désormais, puisqu'il n'est plus réaliste de pouvoir tout détecter, il faut savoir protéger les machines lorsque les menaces s'exécutent. C'est exactement ce que ce test essaie de mesurer.

Evidemment, cette épreuve est probablement le challenge le plus difficile qui soit pour les différentes suites. Elles doivent se défendre sans connaître la menace. Il faut toutefois signaler que ce test est en théorie plus handicapant pour Norton, TrendMicro, Panda et F-Secure. Ces suites ont des défenses proactives qui reposent en partie sur l'utilisation du « cloud ». Pour éviter que ces suites n'utilisent leur détection classique, nous les avons avons mises à l'épreuve sans connexion à Internet.

Nous avons classé les résultats en trois groupes :
- Succès, le programme a été totalement bloqué ;
- Partiels, l'infection n'a pas eu lieu. Le vrai danger a bien été écarté et l'antivirus a réagi à la menace. Mais des traces en Registry sont toujours visibles et peuvent provoquer des alertes au démarrage de Windows ;
- Echecs, l'infection a eu lieu. Même si l'antivirus a affiché une alerte, si l'infection a bien eu lieu et reste dans le système après la fin de l'exécution du code malveillant, nous avons comptabilisé le résultat comme un échec.

Kaspersky et ses deux sécurités

Lors de ce test, Kaspersky a soulevé un problème particulier. Le logiciel dispose de deux méthodes, complémentaires. La première est une exécution du code dans un mode d'accès restreint au système. La seconde, ce que Kaspersky appelle la « Green Zone ». Dans la Green Zone, l'infection de la machine hôte est impossible, l'application étant en quelque sorte virtualisée.

Les mesures ont été réalisées avec le premier mode, le second n'étant pas directement comparable aux autres. Cela n'empêche pas Kaspersky d'arriver en tête, avec un très bon score. Mais attention, ce score n'a été obtenu que parce que nous avons comparé les suites avec leurs paramètres de défense poussés au maximum (en mode par défaut, la note de Kaspersky redescend à 6/15) !

Norton aurait pu avoir la note parfaite

Norton 2010 a également soulevé un problème. Il est, là, testé en mode totalement déconnecté. Or sa protection Sonar 2 utilise normalement la connexion réseau pour évaluer la « réputation » d'un fichier. Lorsqu'un fichier inconnu est exécuté, Norton 2010 indique à l'utilisateur le nombre d'internautes possédant ce fichier, depuis quand ce fichier est connu du réseau des utilisateurs et si sa source est crédible ou pas.

Avec de tels renseignements, un utilisateur avisé choisira s'il faut ou non exécuter le programme. Dans un tel contexte, Norton 2010 aurait alors obtenu la note maximale de 15/15 ! En mode déconnecté, cette « réputation » des fichiers n'est pas opérationnelle. La note obtenue par Norton 2010 est donc exactement celle que la suite aurait obtenue en mode connecté avec un utilisateur « fou furieux et inconscient », qui aurait forcé l'exécution alors même que la suite lui conseillait de ne pas le faire !

BitDefender et TrendMicro au coude à coude

BitDefender et TrendMicro arrivent en seconde position. Ils obtiennent la même note, mais leur protection est différente, elle n'a d'ailleurs pas arrêté les mêmes codes. La position de BitDefender n'est pas une surprise. Sa protection B-HAVE est mature, améliorée d'année en année. La présence de TrendMicro est en revanche une énorme surprise. Son mécanisme de protection est avant tout basé sur des informations en provenance des serveurs et du réseau d'utilisateurs. La suite se focalise davantage sur les vecteurs de menaces que sur les menaces elles-mêmes. Pour autant les ingénieurs de TrendMicro n'ont pas négligé les défenses proactives classiques.

Une dure épreuve pour toutes les suites

F-Secure arrive dernier. Pourtant sa technologie DeepGuard est assez réputée. Mais dans l'édition 2010, cette technologie repose en grande partie sur des informations provenant des serveurs F-Secure et du réseau d'utilisateurs. Dans le contexte de ce test, DeepGuard s'est retrouvé totalement désemparé. Les trois autres suites arrivent à égalité. Mais leurs notes reflètent des comportements différents. G-Data base essentiellement ses défenses proactives sur son module CommTouch, qui n'agit pas sur les menaces exécutées depuis le disque (le module BitDefender qui propulse l'un de ses moteurs n'a pas la technologie B-Have incorporée.)

La surprise, c'est finalement le score moyen réalisé par la défense TruPrevent de Panda, qui n'a pas réussi à se démarquer des programmes de notre échantillonnage. Rappelons que Panda base surtout la protection de sa suite sur sa technologie « d'intelligence collective », qui nécessite elle aussi l'accès à Internet. Quant à Mc Afee, ses protections sont tout aussi justes que les autres.

Ces tests ne sont pas révélateurs du comportement des suites de sécurité 2010 dans leur utilisation normale. Ils sont révélateurs des technologies « déconnectées » incorporées au cœur des défenses. Pour les mesurer, nous avons poussé les paramètres des suites à leur maximum. Là encore, cela n'est pas ni très réaliste ni très utile. Car les performances peuvent en prendre un coup.

Si vous vous mettez en danger, allez au-delà des réglages par défaut

Les utilisateurs qui se mettent particulièrement en danger ont cependant intérêt à pousser ces protections au-delà de leur seuil par défaut. C'est particulièrement vrai chez Kaspersky, qui offre en la matière une quantité hallucinante de réglages. La maîtrise de ces réglages (notamment en demandant le classement automatique des applications non connues en mode « douteux ») ainsi que la maîtrise de la Green Zone (un concept qui mérite de gagner en maturité et en automatisme pour devenir réellement grand public) constituent une belle assurance anti-malware. A condition toutefois de disposer d'une machine suffisamment performante pour ne pas sentir les impacts.

Hormis Kaspersky et un TrendMicro aussi surprenant que performant, qui sortent tous deux vainqueurs de ce comparatif, il est assez difficile de départager les autres suites sur le terrain de la proactivité déconnectée. Dans ce test, où la défense « en ligne » de CommTouch n'était pas utilisée, force est de constater que la force de G-Data tient avant tout dans sa détection à double moteur. Les deux plus défavorisés semblent avoir été F-Secure, dont la protection DeepGuard 2 apparaît muette sans Internet, et Norton qui finit avec un score honorable sans pourtant avoir pu mettre en avant ce qui fait la grande originalité et la grande force de son édition 2010, la protection par « réputation ».

Prochaines étapes : performances et tests antivirus en mode connecté

Nous préparons d'autres batteries de tests pour mesurer les capacités de protection (plutôt que de détection) et de défense face aux attaques Web. Ces futurs tests seront, cette fois, réalisés en mode connecté pour mieux coller aux usages réels. Mais notre prochain comparatif se concentrera lui sur un autre aspect, fondamental aux yeux de bien des utilisateurs : l'impact des suites 2010 sur les performances du système !