ウイルス対策（AV）ソフトなどの評価を行うドイツ企業AV-Testが独自に行ったテストで、Microsoftの「Windows Defender」は15製品中7位だった。Microsoftはこの結果に対し、最新のテストで改善が見られたことや、機能全体を評価する必要性について示した。

AV-Testによると、2017年12月のテストで保護性能とパフォーマンス、ユーザビリティに最も優れていた「Windows 10」向けウイルス対策製品はTrend Micro、Vipre、AhnLab、Avira、Bitdefender、Kaspersky、McAfeeだったという。

Windows Defenderは保護性能に関しては、新旧のマルウェアを100％検知して高い評価を得たが、パフォーマンス（AVがアプリケーションとウェブサイトの動作をどれだけ低下させるかを測定する）とユーザビリティ（AVがファイルを悪意あるものと誤って判定する偽陽性またはインスタンスを集計する）でポイントを失った。

しかし、「Smartscreen」「Application Guard」「Application Control」を含む「Windows Defender Advanced Threat Protection」（ATP）の「スタックコンポーネント」を導入するオプションも顧客に提供されていることから、Windows Defenderは全体像から見て半分程度だということをエンタープライズ顧客に知ってもらいたいとMicrosoftは考えているようだ。

1～2月のテストでは、Windows Defenderは保護性能で100％のスコアを記録したが、2つのサンプルを見逃した。その後、Microsoftはそれらのサンプルを検知するようWindows Defenderの機械学習分類アルゴリズムを再訓練した。

しかし、Microsoftがこの新しいレポートで指摘したところによると、Defender ATPはそれらのサンプルを検知したが、そのことはAV-Testやそのほかのテスト企業の結果に反映されていないという。Microsoftは、テスト企業がATPで利用可能ないわゆるスタックコンポーネントも対象に含めることを期待している。

1～2月のテスト結果によると、Defenderには、合法的なアプリを誤ってマルウェアと判定する問題がまだ残っているという。

しかし、誤判定された21のアプリは全てメディアプレーヤーかオーディオミキサーのいずれかであり、これらはエンタープライズ環境ではあまり使われないとMicrosoftは述べている。

さらにMicrosoftは、合成テストでの偽陽性は必ずしも現実世界の偽陽性を示しているわけではないとしている。Microsoftが現実世界のマシンで使用しており、Defenderがクリーンなアプリをマルウェアと誤判定するのを防止するコンテクスチュアルな情報を計算に入れていないという。

さらに、Windows Defenderを使っていると、よく使用されるアプリケーションのインストールに平均より大幅に長い時間がかかる。しかしこれについても、エンタープライズユーザーは一般に新しいアプリのインストールより、ブラウザや電子メール、文書の使用に長い時間を費やすとMicrosoftは述べている。