curl模拟百度蜘蛛爬取首页

curl模拟百度蜘蛛爬取首页

用curl模拟百度蜘蛛写一个函数模拟一下百度蜘蛛爬取首页

<?php
function vspider_get($url){
$ch2 = curl_init();
	$user_agent = "Baiduspider+(+http://www.baidu.com/search/spider.htm)";//这里模拟的是百度蜘蛛
	//$user_agent="Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1";//这里模拟的是普通用户
	curl_setopt($ch2, CURLOPT_URL, $url);
	curl_setopt($ch2, CURLOPT_HEADER, false);
	curl_setopt($ch2, CURLOPT_RETURNTRANSFER, 1);
        //curl_setopt($ch2, CURLOPT_FOLLOWLOCATION, 1); //301跳转跟踪
	curl_setopt($ch2, CURLOPT_REFERER, $url);//这里写一个来源地址,可以写要抓的页面的首页
	curl_setopt($ch2, CURLOPT_USERAGENT, $user_agent);
	$temp=curl_exec($ch2);
	return $temp;
}

//例子:
$url='http://www.yiecho.com';//要抓取的地址
$contents=vspider_get($url);
echo $contents;
?>

curl模拟百度蜘蛛爬取首页:等您坐沙发呢!

发表评论

表情
还能输入210个字