搜索引擎蜘蛛能抓取并收录PHP的动态网页吗？
4 15th, 2010 by daniel
有人问我这个问题，回答是不假思索的-肯定！
有人问我如果是站内通过选择而产生的动态页面也能收录吗？蜘蛛也能爬到这个页面吗？
-我的经验告诉我，可以！
怎么证明呢？–哈哈，因为这是很久以前的观察结果，现在突然问我，倒是不容易回答。
没办法，SEO就是要不断搜索找到答案，就想办法证实呗。
我先去了真旅网，用蜘蛛模拟器看了一下，提示谷歌没有相关数据；
我再去了携程网，找了一个搜索北京酒店（左第1个边栏，点酒店，输入进行搜索），出现一个动态URL，
【注意–它的Title是固定的“酒店查询结果 - 酒店预订 - 国内国际酒店预订服务 - 携程旅行网”】
将URL复制输入蜘蛛模拟器，提示该网页内部是动态的不确定信息，其他内容都是空白;
又去了到到网，同样在首页选择搜索北京酒店，出现一个动态的URL，
【注意–它的Title是跟搜索对应的“北京市酒店的搜索结果 】
同样用蜘蛛模拟器去查，里面有大量信息Title/Meta都显示正常。
然后再到百度下，输入“site:daodao.com 北京市酒店的搜索结果”排第一的就是上面的那个页面。
也可输入“site:ctrip.com 酒店查询结果 - 酒店预订 - 国内国际酒店预订服务”,可以有8个页面。
在谷歌下搜索，没有我们的目标页面，都是静态url的页面，而且只是部分匹配的。
这个应该可以证实，
1.无论百度还是谷歌的蜘蛛都可以爬到需要输入选择的动态URL的页面；
2.谷歌（或雅虎）是否会抓取被收录，取决于TITEL/META的个性化描写，也取决于程序的写法，
到到比携程要规范的多，也更迎合搜索引擎；
3.搜索引擎肯定更喜欢静态URL，它更容易判断内容与title/meta1是否一致，可以决定放在哪里展示；
4.搜索引擎对动态URL的判断不太一致，如果网站不想冒风险，受到部分搜索引擎的“歧视”，还是进行伪静态处理吧。
