Googleは、人と会話ができるGoogleアシスタントの音声機能「Duplex」にGoogleが使用しているウェブクローラーのサポートドキュメントを追加しました。このボットのユーザーエージェントは「DuplexWeb-Google」と名付けられ、現在は「GoogleBot」の最新クローラーセットの一部となっています。
Googleは、"DuplexWeb-Googleは、Duplex on the Webサービスをサポートするユーザーエージェントである "と書いています。
以下はそのクロールの様子です。
DuplexWeb-Googleのユーザーエージェントを使用するサービスは、あなたのサイトをクロールする際に、購入やその他の重要なアクションを実行することはありません。
DuplexWeb-Googleユーザーエージェントのクロールは、訓練されている機能に応じて1日数回から1時間に数回行われますが、これらの実行はあなたのサイトに負荷をかけたり、トラフィックを妨げたりしないように計算されています。
DuplexWeb-Googleユーザーエージェントのクロールは、Google Searchのインデックス作成には使用されません。インデックス作成に使用されないため、DuplexWeb-Googleユーザーエージェントはnoindexディレクティブを認識しません。
Googleアナリティクスは、DuplexWeb-Googleユーザーエージェントがクロールや分析中に行ったページリクエストを記録しません。
Googleは、これをブロックするには、"DuplexWeb-GoogleユーザーエージェントをDisallow robots.txtルールを使って明示的にブロックし、サイトをクロールさせないようにする必要がある "と述べています。DuplexWebボットは、例外的にrobots.txtのルールセットに従います。
Search Consoleを使ってDuplex on the webが有効になっている場合（デフォルト）、DuplexWeb-Googleユーザーエージェントは、*ワイルドカードユーザーエージェントグループのDisallowルールを無視します。
Search ConsoleでDuplex on the webが無効になっている場合、DuplexWeb-Googleユーザーエージェントは、* ワイルドカードユーザーエージェントグループのDisallowルールを尊重します。
念のために言っておくと、Duplexは新しいものではなく、2018年かそれ以前から存在しています。しかし、Duplex用のスパイダー/ボットの詳細はこれまで見たことがありませんでした。
詳細ページ
https://developers.google.com/search/docs/advanced/crawling/dupex-user-agent?hl=ja
Follow me!
