Appleがサポートページを更新し、ウェブクローラー「Applebot」が、音声制御アシスタント「Siri」や「Spotlight」検索候補などの製品に使われていることを明らかにした。

User-agent文字列には、「Applebot」と補足のエージェント情報が記載されます。下記は、その例です。 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)

Appleによると、このウェブクローラーは検索エンジン用のエントリを作成するためにウェブサイトのページを巡回し、慣習的なrobots.txtの規則とrobots metaタグを尊重する。アクセス元は、17.0.0.0ネットワークブロックであるという。 同ページ には次のように記されている。

robotsの制御指示でApplebotには言及していなくてもGooglebotについて指定されている場合、AppleのロボットはGooglebotに対する指示に従うという。

同社は開発者らに対し、このロボットに関する質問や疑問があれば同社に問い合わせるよう求めている。