C语言之socket获取网页源码

时间:2023-03-08 16:45:52

  写爬虫也许你用的是python,类似urlopen(url).read()即可获得普通的网页的源码,或者用的java的网络库加上流操作,或者其他高级语言。但你有没有想过使用C语言来实现呢?我曾经以为用c来实现获取网页源码是很复杂的,要自己按照http等协议来构造包,再解析接受到的包,还要考虑三次握手。现在想来当时的想法真可怕啊!一个人最崇敬科技,最害怕科学的时候是期是何时呢?是当他懂了一些东西,但还有一大堆东西不懂的时候。也许脑筋转一个弯,他学的就快了。好了,下面进入正题:

  通过socket与远程连接需要ip和端口号,通常我们写的socket程序都是一个server,一个client,两个配对,单一可以只写一方的程序来达到我们的目的:如端口扫描。我们把web服务器当成socket服务端(实际也的确如此,网络通信不都是socket的天下吗),端口设为80(开放网站大多都是这个啊)。步骤有三:

  1. 创建socket,建立connect
  2. 向对方发送请求
  3. 读取响应内容
int open_socket(char* host,char *port){
struct addrinfo *res;//<netdb.h>
struct addrinfo hints;
memset(&hints,,sizeof(hints));
hints.ai_family=PF_UNSPEC;// AF | PF
hits.ai_socktype=SOCK_STREAM;
if(getaddrinfo(host,port,&hints,&res)==-)//会在堆上创建一种叫名字资源的新数据结构
perror("error");
int d_sock=socket(res->ai_family,res->ai_socktype,res->ai_protocal);
if(d_sock==-) perror...
int c=connect(d_sock,res->ai_addr,res->ai_addrlen);
freeaddrinfo(res);//释放堆空间
if(c==-) ...
return d_sock;
}

下面是一个发送信息的辅助函数

int say(int sock,char *s){
int ret=send(sock,s,strlen(s),);
if(ret==-) perror...
return ret;
}
上面的perror函数是系统的,可以换成你自定义的,或者用strerror()加上<errno.h>中的errno
发送信息至少包含三部分:
  GET请求,主机名,空行(\r\n)
下面是main函数:
int main(int a,char *b){
  int sock;
  soc=open_sock("www.sougou.com","");
  char rec[];
  say(sock,"GET /wiki/ http/1.1\r\n");
  int bytesRcvd=recv(sock,rec,,);
  while(bytesRcvd){
    if(bytesRcvd==-) ...
    rec[bytesRcvd]='\0';
    printf("%s",rec);
    bytesRcvd=recv(sock,rec,,);
  }
  close(sock);
  return ;