這意味著搜尋引擎無法存取以尾的

muhammad166152@

更有效的方法是使用星號 (*) 字元來簡化產品。 使用者代理：*不允許：/products/*？ 此範例阻止搜尋引擎抓取所有包含問號且位於 /product/ 子資料夾下的 URL。 換句話說，此操作可防止搜尋引擎存取任何參數化產品類別 URL。 使用“$”表示 URL 的結尾。 「$」字元用於標記 URL 的結尾。 例如，如果您想阻止搜尋引擎存取您網站上的所有 .pdf 副檔名文件，您的 robots.txt 檔案應如下所示： 使用者代理：*禁止：/*.pdf$ 透過此範例中所示的過程，搜尋引擎將無法存取任何以 .pdf 結尾的 URL。


URL，但可以存取以/file.pdf?id=68937586結尾的 URL ，因為它們不以 “.pdf” 結尾。 每個用戶代理僅使用一次。 如果您多次指定相同的用戶代理，Google 不會在意。 它將匯集來自各種通知的所有規則並以這種方式追蹤它們。 例如，如果您的 robots.txt 檔案 南非 電話號碼 包含以下使用者代理程式和指令，Googlebot 將不會抓取任何這些子資料夾。 使用者代理：GooglebotDisallow：/a/ 使用者代理：Googlebot Disallow：/b/ 此外，每個用戶代理只聲明一次更有意義，因為這樣更不容易混淆。



換句話說，透過保持事情井井有條且簡單，您將減少犯下嚴重錯誤的機會。 提供清晰的說明以避免意外錯誤。 設定指示時不提供明確的說明可能會導致容易被忽略的錯誤，並對您的 SEO 產生不良影響。 例如，假設您有一個多語言網站，並且您正在開發位於 /de/ 子目錄中的德語版本。 您希望防止搜尋引擎看到此處包含的信息，因為它尚未準備好完全發布。 您可以使用以下 robots.txt 檔案阻止搜尋引擎存取此子資料夾及其中包含的所有資訊： 使用者代理：*禁止：/de 但請注意，這也會阻止搜尋引擎抓取任何以 /de 開頭的頁面或檔案。