C语言之socket获取网页源码

　　写爬虫也许你用的是python，类似urlopen(url).read()即可获得普通的网页的源码，或者用的java的网络库加上流操作，或者其他高级语言。但你有没有想过使用C语言来实现呢？我曾经以为用c来实现获取网页源码是很复杂的，要自己按照http等协议来构造包，再解析接受到的包，还要考虑三次握手。现在想来当时的想法真可怕啊！一个人最崇敬科技，最害怕科学的时候是期是何时呢？是当他懂了一些东西，但还有一大堆东西不懂的时候。也许脑筋转一个弯，他学的就快了。好了，下面进入正题：

　　通过socket与远程连接需要ip和端口号，通常我们写的socket程序都是一个server，一个client，两个配对，单一可以只写一方的程序来达到我们的目的：如端口扫描。我们把web服务器当成socket服务端（实际也的确如此，网络通信不都是socket的天下吗），端口设为80（开放网站大多都是这个啊）。步骤有三：

创建socket，建立connect
向对方发送请求
读取响应内容

int open_socket(char* host,char *port){

    struct addrinfo *res;//<netdb.h>

    struct addrinfo hints;

    memset(&hints,,sizeof(hints));

    hints.ai_family=PF_UNSPEC;// AF | PF

    hits.ai_socktype=SOCK_STREAM;

    if(getaddrinfo(host,port,&hints,&res)==-)//会在堆上创建一种叫名字资源的新数据结构

         perror("error");

    int d_sock=socket(res->ai_family,res->ai_socktype,res->ai_protocal);

    if(d_sock==-) perror...

    int c=connect(d_sock,res->ai_addr,res->ai_addrlen);

    freeaddrinfo(res);//释放堆空间

    if(c==-) ...

    return d_sock;

}

下面是一个发送信息的辅助函数

int say(int sock,char *s){

    int ret=send(sock,s,strlen(s),);

    if(ret==-) perror...

    return ret;

}

上面的perror函数是系统的，可以换成你自定义的，或者用strerror()加上<errno.h>中的errno

发送信息至少包含三部分：

　　GET请求，主机名，空行（\r\n)

下面是main函数：

int main(int a,char *b){

　　int sock;

　　soc=open_sock("www.sougou.com","");

　　char rec[];

　　say(sock,"GET /wiki/ http/1.1\r\n");

　　int bytesRcvd=recv(sock,rec,,);

　　while(bytesRcvd){

　　　　if(bytesRcvd==-) ...

　　　　rec[bytesRcvd]='\0';

　　　　printf("%s",rec);

　　　　bytesRcvd=recv(sock,rec,,);

　　}

　　close(sock);

　　return ;

｝

秒客网

C语言之socket获取网页源码

相关文章