百度确认:蜘蛛会抓取纯文本链接的URL
2013-03-26 12:03:11百度官方确认纯文本的链接URL会被百度抓取,百度爬虫会对网络上的纯文本链接进行抓取,以下是来自百度站长俱乐部Lee的回复!
1,文本链接url地址,百度会发现他是一个url地址并通过这个地址到相应的url地址上去抓取。
2,我们对链接是否应该传递权重,唯一的判断标准是:这个链接是否用户or对方网站真心推荐你的网站、这个推荐,是否对用户有价值。
注:纯文本链接也就是去掉了超链接的URL,多数投稿文章会被去掉超链接,无疑这是个好消息,但不能确认是否传递权重。
评论列表
我要评论