网站的网 址结构应尽可能简单些。 请考虑 组织您的内容,让网址的构建合乎逻辑并易于理解 (尽可能采用易读字词而非长的 ID 数字) 。 例如,如果您要搜索有关航空 (aviation) 的信息,http://en.wikipedia.org/wiki/Aviation 一类的网址将会有助于您决定是否点击该链接。 http://www.example.com/index.php?id_sezione=360&sid=3a5ebc944f41daa6f849f730f1 一类的网址对用户的吸引力大大降低。
建议您在网址中使用标点符号。 网址 http://www.example.com/green-dress.html 比网址 http://www.example.com/greendress.html 对我们帮助大得多。 我们建议您在网址中使用连字符 (-) 而尽量避免使用下划线 (_)。
过于复杂的网址,特别是那些包含多个参数的网址,可能会给抓取工具带来麻烦,因为它们可能会产生大量不必要的网址,全都指向您网站上相同或相似的内容。 Googlebot 可能会因此而消耗大量不必要的带宽,也可能无法为您网站的所有内容编制完整索引。
此问题的常见原因导致网址过多可能有多种原因, 其中包括:
一组项目的累加过滤。很多网站对同一组项目或搜索结果提供不同的视图,这样一般可以让用户使用定义的标准对其 进行过滤(例如:显示海景酒店)。 当以累加模式组合过滤器时(例如:带健身中心的海景酒店),网站中网址(数据视图)的数量就会急剧增加。 因为 Googlebot 只需查看少量能用来访问各个酒店网页的列表即可,所以没有必要创建大量区别不大的酒店列表。 例如:
特价酒店:
http://www.example.com/hotel-search-results.jsp?Ne=292&N=461
特价海景酒店:
http://www.example.com/hotel-search-results.jsp?Ne=292&N=461+4294967240
带健身中心的特价海景酒店:
http://www.example.com/hotel-search-results.jsp?Ne=292&N=461+4294967240+4294967270
动态生成文档。 由于计数器、时间戳或广告影响,这可能会产生少量变化。
网址中有问题的参数。例如,会话 ID 可以产生大量的重复项目和更多的网址。
排序参数。某些大型购物网站会提供多种方式来排序相同的项目,因此造成网址数量急剧增大。 例如:
http://www.example.com/results?search_type=search_videos&search_query=tpb&search_sort=relevance&search_category=25
网址中不相关的参数,例如推介参数。例如:
http://www.example.com/search/noheaders?click=6EE2BF1AF6A3D705D5561B7C3564D9C2&clickPage=OPD+Product+Page&cat=79
http://www.example.com/discuss/showthread.php?referrerid=249406&threadid=535913
http://www.example.com/products/products.asp?N=200063&Ne=500955&ref=foo%2Cbar&Cn=Accessories
日历问题。动态生成的日历可能会生成指向未来及过去日期的链接,而这些日期没有开始日期和结束日期。 例如:
http://www.example.com/calendar.php?d=13&m=8&y=2011
http://www.example.com/calendar/cgi?2008&month=jan
损坏的相对链接。损坏的相对链接往往会造成死循环。 这个问题通常是由路径元素重复造成的。 例如:
http://www.example.com/index.shtml/discuss/category/school/061121/html/interview/category/health/070223/html/category/business/070302/html/category/community/070413/html/FAQ.htm
为避免网址结构发生潜在的问题,谨建议如下:
建议您使用 robots.txt 文件阻止 Googlebot 访问有问题的网址。 通常情况下,建议您拦截动态网址,例如生成搜索结果的网址或产生死循环的网址(如日历)。 在 robots.txt 文件中使用正则表达式可以很容易地拦截数量较大的网址。
尽可能避免在网址中使用会话 ID, 建议您使用 Cookie 代替。 请参阅我们的网站管理员指南了解更多信息。
通过截掉不必要的参数尽量缩短网址。
如果您的网站具有未设置期限的日历,请为指向自动创建的未来日历页的链接添加 nofollow 属性。
检查网站是否有损坏的相对链接。