主题
- 客户端/服务器架构
- 套接字:通信终点
- 套接字地址
- 面向连接与无连接套接字
- Python中的网络编程
- SOCKET模块
- 套接字对象方法
- TCP/IP客户端和服务器
- UDP/IP客户端和服务器
- SocketServer模块
- Twisted框架介绍
- 相关模块
1.客户端服务器架构
客户<---->INTERNET<------->服务器。客户连上一个预先已知的服务器，提出自己的请求，发送必要的数据，然后就等待服务器返回的数据。
2.套接字:通信终点
套接字是一种具有"通信端点"概念的计算机网络数据结构。网络化的应用程序在开始任何通讯之前都需要创建套接字、就像电话插口一样，没有它就会完全没办法通信。Python只支持AF_UNIX,AF_NETLINK,AF_INET家族，由于我们只关心网络编程所以我们都只用AF_INET。
3.套接字地址
如果把套接字比作电话接口----------即通信的最底层结构，那主机与端口就像区号与电话号码的一对组合。有了电话还不够，你还要知道你要打电话给谁，往哪打。一个因特网地址由网络通信所必须的主机和端口组成，而且另一端一定要有人听才可以。
合法的端口号范围为0~65535，其中，小于1024的端口号为系统保留端口。
4.面向连接与无连接套接字
(1)面向连接
无论使用哪个地址家族，套接字的类型只有两种，面向连接和无连接。面向连接即是在通信前必须建立一条连接，就像跟朋友打电话一样。实现这种连接的主要协议就是传输控制协议(TCP)，要创建TCP套接字就得在创建的时候指定套接字类型为SOCK_STREAM。TCP套接字采用SOCK_STREAM这个名字体现了它最为流套接字的特点，由于这些套接字使用网际协议(ip)来查找网络中的主机，所以这样形成的整个系统，一般会有两个协议(TCP和IP)名的组合来描述，即TCP/IP。
(2)无连接
即无需连接就可以进行通信。但这时，数据到达的顺序、可靠性及不重复性就无法保证了。数据是整个发送的，不会像面向连接的协议那样先被拆分成小块。
实现这种连接的主要协议就是用户数据报协议(UDP)。要创建UDP套接字就得在创建的时候指定套接字类型为SOCK_DGRAM。"datagram"是"数据报"。
5.Python中的网络编程
我们将使用Python中的socket模块，模块中的socket()函数用来创建套接字。要使用socket.socket()函数来创建套接字，语法如下:
socket.socket(socket_family,socket_type,protocol=0)
如前所述,Socket_family 不是 AF_VNIX 就是 AF_INET ,socket_type可以是SOCK_STREAM或是SOCK_DGRAM,protocol一般不填，默认为0。
6.SOCKET模块
例如创建一个TCP/IP的套接字，你要这样调用socket.socket()函数:
tcpSock = socket.socket(socket.AF_INET,socket.SOCKET_STREAM)
UDP/IP的套接字
udpSock = socket.socket(socket.AF_INET,socket.SOCKET_DGRAM)
由于socket模块中有太多的属性，我们在这里可以使用 “from module import *”的语句,我们就把socket模块里所有属性都带到我们的命名空间里了。
tcpSock = socket(AF_INET,SOCKET_STREAM)
7.套接字对象(内建)方法
函数 描述
服务器端套接字函数
- s.bind( ) 绑定地址(主机名，端口号对)到套接字
- s.listen( ) 开始TCP监听
- s.accept( ) 被动接受TCP客户端连接，（阻塞式）等待连接的到来。
客户端套接字函数
- s.connect( ) 主动初始化TCP服务器连接。
- s.connect_ex( ) connect( )扩展版本，出错时返回错误码，而不是抛出异常。
公共用途的套接字函数
- s,recv( ) 接受TCP数据。
- s.send( ) 发送TCP数据。
- s.sendall( ) 完整发送TCP数据。
- s.recvfrom( ) 接受UDP数据。
- s.sendto( ) 发送UDP数据。
- s.getpeername( ) 连接到当前套接字的远程的地址(TCP连接)
- s.getsockname( ) 当前套接字的地址。
- s.getsockopt( ) 返回当前套接字的参数。
- s.setsockopt( ) 设置指定套接字的参数。
- s.close( ) 关闭套接字。
面向模块的套接字函数
- s.setblocking( ) 设置套接字的阻塞与非阻塞模式。
- s.settimeout( ) 设置阻塞套接字操作的超时时间。
- s.gettimeout( ) 得到阻塞套接字操作的超时时间。
面向文件套接字函数
- s.fileno( ) 套接字文件描述符。
- s.makefile( ) 创建一个与该套接字关联的文件对象。
8.TCP/IP客户端和服务器
TCP服务器设计伪代码:
ss = socket() #创建服务器套接字
ss.bind() #把地址绑定到套接字上
ss.listen() #监听连接
inf_loop: #服务器无线循环
cs = ss.accept() #接受客户端连接
comm_loop: #通信循环
cs.recv()/cs.send() #对话（接收与发送）
cs.close() #关闭客户端套接字
ss.close() #关闭服务器套接字(可选)
所有套接字都用socket.socket( )函数来创建。服务器需要"坐在某个端口上"等待请求。所以它们必须要"绑定"到一个本地的地址上。一个简单的(单线程)服务器会调用accept( )函数等待连接的到来。默认情况下，accept( )函数是阻塞式的，即程序在连接到来之前会处于挂起状态。套接字也支持非阻塞状态。
TCP时间戳服务器(tsTserv.py)
创建一个能接受客户端的消息，在消息前加一个时间戳后返回TCP服务器
from socket import *
from time import ctime
HOST = ''
PORT = 21567
BUFSIZE = 1024
ADDR = (HOST,PORT) tcpSerSock = socket(AF_INET,SOCK_STREAM)
tcpSerSock.bind( ADDR)
tcpSerSock.listen(5) while True:
print 'waiting for connection......'
tcpCliSock,addr = tcpSerSock.accept( )
print '......connected from:',addr while True:
data = tcpCliSock.recv(BUFSIZ)
if not data:
break
tcpCliSock.send('[%s]%s' %(ctime(),data))
tcpCliSock.close( )
tcpSerSock.close()
创建TCP客户端
伪代码:
cs = socket( ) #创建客户端套接字
cs.connect( ) #尝试连接服务器
comm_loop:
cs.send( )/cs.recv( ) #对话(发送/接收)
cs.close( ) #关闭客户端套接字
TCP时间戳客户端(tsTclnt.py)
from socket import *
HOST = 'localhost'
PORT = 21567
BUFSIZ = 1024
ADDR = (HOST,PORT)
tcpCliSock = socket(AF_INET,SOCK_STREAM)
tcpCliSock.connect(ADDR)
while True:
data = raw_input('>')
if not data:
break
tcpCliSock.send(data)
data = tcpCliSock.recv(BUFSIZ)
if not data:
break
print data
tcpCliSock.close()
9.UDP/IP客户端和服务器
UDP时间戳服务器(tsUserv.py)
from socket import *
from time import ctime HOST = ''
PORT = 21567
BUFSIZ = 1024
ADDR = (HOST,PORT) udpSerSock = socket(AF_INET,SOCK_DGRAM)
udpSerSock.bind(ADDR) while True:
print 'waiting for message......'
data,addr = udpSerSock.recvfrom(BUFSIZ)
udpSerSock.sendto('[%s] %s' % (ctime,data) ,addr)
print '......received from and returned to:',addr udpSerSock.close()
创建一个UDP客户端
from socket import *
HOST = 'localhost'
PORT = ""
BUFSIZ = 1024
ADDR = (HOST,PORT)
udpCliSock = socket(AF_INET,SOCK_DGRAM)
while Trus:
data = raw_input('>')
if not data:
break
udpCliSock.sendto(data,ADDR)
data,ADDR = udpCliSock.recvfrom(BUFSIZ)
if not data:
break
print data
udpCliSock.close()
10.SocketServer模块
SocketServer 是标准库中一个高级别的模块。用于简化实现网络客户端与服务器所需的大量样板代码。该模块中，已经实现了一些可供使用的类。
SocketServer模块的类
| 类 | 描述 |
| BaseServer | 包含服务器核心功能与混合(mix-in)类挂钩;这个类只用于派生，所以不会生成这个类的实例;可以考虑使用TCPServer和UDPServer |
| TCPServer/UDPServer | 基本的网络同步TCP/UDP服务器 |
| UnixStreamServer/UnixDatagramServer | 基本的基于文件同步TCP/UDP服务器 |
| ForkingMixIn/ThreadingMixIn | 实现了核心的进程化或线程化的功能;作为混合类，与服务器类一并使用以提供一些异步特性;这个类不会直接实例化。 |
| ThreadingTCPServer/ThreadingUDPServer | ThreadingMixIn和TCPServer/UDPServer的组合 |
| BaseRequestHandler | 包含处理服务器请求的核心功能，这个类只用于派生，所以不会生成这个类的实例可以考虑使用StreamRequestHandler 或 DatagramRequestHandler |
| StreamRequestHandler/DatagramRequestHandler | 用于TCP/UDP服务器处理工具 |
创建一个SocketServerTCP服务器
在代码中，先导入我们的服务器类，然后像之前一样定义主机常量。主机常量后就是我们的请求处理器类，然后是启动代码。
例 SocketServer 时间戳TCP服务器（TsTservss.py）
from SocketServer import (TCPServer as TCP,StreamRequsetHandler as SRH)
from time import ctime HOST = ''
PORT = 21567
ADDR = (HOST,PORT) class MyRequestHandler(SRH):
def handle(self):
print '......connected from:',self.client_address
self.wfile.write('[%s]%s' % (ctime(),self.rfile.readline())) tcpServ = TCP(ADDR,MyRequestHandler)
print 'waiting for connection...'
tcpServ.serve_forever( )
创建SocketServerTCP客户端
from socket import *
HOST = 'localhost'
PORT = 21567
BUFSIZ = 1024
ADDR = (HOST,PORT)
while True:
tcpCliSock = socket(AF_INET,SOCK_STREAM)
tcpCliSock.connect(ADDR)
data = raw_input('>')
if not data:
break
tcpCliSock.send('%s\r\n' %data)
data = tcpCliSock.recv(BUFSIZ)
if not data:
break
print data.strip()
tcpCliSock.close()
11.Twisted框架介绍
Twsited是一个完全事件驱动的网络框架。它允许你使用和开发完全异步的网络应用程序和协议。需要安装它，系统中可以有:网络协议、线程、安全和认证、聊天/即时通讯、数据库管理、关系数据库集成、Web/internet、电子邮件、命令行参数、图形界面集成等。
创建一个Twisted Reactor TCP服务器
Twsited Reactor事件戳服务器(tsTservTW.py)
from twisted.internet import protocol,reactor
from time import ctime
PORT = 21567
class TSServProtocol(protocol.Protocol)
-----------------------
课后题
16-1. 套接字,面向连接与无连接有何区别?
答:socket第二个参数不同。面向连接即tcp通信函数为socket.socket(socket.AF_INET,socket.SOCK_STREAM),UDP通信函数第二个参数为SOCK_DGRAM。
16-2. 客户端/服务器架构。用你自己的语言描述这个架构。并给出几个例子?
答:服务器在某端口等待客户端的连接。怎么说呢 client<------------>internet<------------->server
16-3. 套接字。TCP和UDP中，哪一种服务器在接受连接后，把连接交给不同的套接字处理与客户端的通讯。
答:TCP。
16-4. 修改TCP(tsTclnt.py)和UDP（tsUclnt.py）客户端，让服务器的名字不要在代码里写死，要允许用户指定一个主机名和端口，只有在两个值都没有输入的时候才使用默认值。
答:修改后的tsTclnt.py
from socket import *
from time import ctime HOST = ''
PORT = 21567
BUFSIZ = 1024
ADDR = (HOST,PORT) tcpSerSock = socket(AF_INET,SOCK_STREAM)
tcpSerSock.bind(ADDR)
tcpSerSock.listen(5) while True:
print 'waitiing for connection...'
tcpCliSock,addr = tcpSerSock.accept()
print '...connected from:',addr while True:
data = tcpCliSock.recv(BUFSIZ)
if not data:
break
tcpCliSock.send('[%s] %s' % (ctime(),data)) tcpSerSock.close()
16-5. 网络互联和套接字。找到《python library reference》 示例tcp客户端/服务器程序，实现它并让它运行起来。先运行服务器，然后是客户端。http://www.python.org/doc/current/lib/Socket_Example.html
你认为这个服务器太无聊，决定要修改服务器，让它能识别以下命令:
data 服务器将返回它的当前时间，即time.ctime(time.time())
os 得到操作系统的信息（os.name）
ls 得到当前目录的文件列表
做这个作业的时候，你不一定要有网络------你的机器可以自己通讯。注：在服务器退出后，要清除绑定后才能再次运行，否则有可能得碰到‘端口已经被使用’的错误信息，操作系统一般会在5分钟内清除绑定。所以请耐心等待。
服务器端
from socket import *
import time,os HOST = ''
PORT = 21567
BUFSIZ = 1024
ADDR = (HOST,PORT) tcpSerSock = socket(AF_INET,SOCK_STREAM)
tcpSerSock.bind(ADDR)
tcpSerSock.listen(5) while True:
print 'waitiing for connection...'
tcpCliSock,addr = tcpSerSock.accept()
print '...connected from:',addr while True:
data = tcpCliSock.recv(BUFSIZ)
data = data.strip()
if not data:
break
if data == "date":
tcpCliSock.send('%s' % (time.ctime(time.time())))
elif data == "os":
tcpCliSock.send('%s' % (os.name))
elif data == "ls":
tcpCliSock.send('%s' % (os.listdir(os.curdir)))
else:
tcpCliSock.send('[%s] %s' % (time.ctime(),data)) tcpSerSock.close()
16-6日期时间服务。使用socket.getservbyname()函数得到UDP协议中"daytime"服务所对应的端口。请参考getservbyname()函数的文档，查阅如何使用的详细语法。现在，写一个程序发送一个随便什么数据过去，等待回答。一旦你收到了服务器的信息，显示到屏幕上去。
答：服务端
from socket import *
from time import ctime HOST = "localhost" PORT = getservbyname("daytime","udp") BUFSIZ = 1024 ADDR = (HOST,PORT) udpSerSock = socket(AF_INET,SOCK_DGRAM) udpSerSock.bind(ADDR) while True:
print "waiting for message..."
data,addr = udpSerSock.recvfrom(BUFSIZ)
udpSerSock.sendto("[%s]%s" % (ctime(), data),addr)
print "...received from and returned to:",addr udpSerSock.close
客户端
from socket import *
from time import ctime HOST = "localhost"
PORT = getservbyname("daytime","udp") BUFSIZ = 1024 ADDR = (HOST,PORT) udpCliSock = socket(AF_INET,SOCK_DGRAM) while True:
data = raw_input(">")
if not data:
break
udpCliSock.sendto(data,ADDR)
data,ADDR = udpCliSock.recvfrom(BUFSIZ)
if not data:
break
print data tcpCliSock.close()
16-7.半双工聊天。创建一个简单的半双工聊天程序。“半双工”的意思是当创建一个连接，服务启动的时候，只有一个人可以打字，另一个人只有在等到消息通知他输入消息时才能说话。一旦消息发送出去后，要等到有回复了才能发送下一条消息。一个人是服务端，另一个人是客户端。
客户端
from socket import * HOST = "localhost"
PORT = 23346
BUFSIZ = 1024
ADDR = (HOST,PORT) tcpCliSock = socket(AF_INET,SOCK_STREAM)
tcpCliSock.connect(ADDR) while True:
data = raw_input("client>")
if not data:
continue
tcpCliSock.send(data)
while True:
data = tcpCliSock.recv(BUFSIZ)
if not data:
continue
else:
print "server>",data
break tcpCliSock.close()
服务端
from socket import * HOST = "localhost"
PORT = 23346
BUFSIZ = 1024
ADDR = (HOST,PORT) tcpServSock = socket(AF_INET,SOCK_STREAM)
tcpServSock.bind(ADDR)
tcpServSock.listen(5) while True:
print "waiting for connection..."
tcpCliSock,addr = tcpServSock.accept()
print "connected from:",addr while True:
data = tcpCliSock.recv(BUFSIZ)
if not data:
continue
print "client>",data
data = raw_input("server>")
tcpCliSock.send(data) tcpServSock.close()
---------------------------------------------------------------------
16-8 全双工聊天。修改你刚才的程序，改成全双工，即两个人可以独立地发送和接收消息。
答：
服务端
#!/usr/bin/env python
#-*- coding:utf-8 -*-
import socket,traceback,os
from threading import * host = 'localhost'
port = 51423 #监听所有的接口 #接受消息的线程
def handlerecv(clientsock):
print "New child",currentThread().getName()
print "Got connection from",clientsock.getpeername()
while True:
data = clientsock.recv(4096)
if not len(data):
break
print data
clientsock.close() #发送消息的线程
def handlesend(clientsock):
while True:
data = raw_input(">")
data = data + "\n"; #加上换行，好看一点。
clientsock.sendall(data)
#关闭连接
clientsock.close() #建立套接字
s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)
s.bind((host,port))
s.listen(1) while True:
try:
clientsock,clientaddr = s.accept()
except KeyboardInterrupt:
raise
except:
traceback.print_exc()
continue t = Thread(target = handlerecv,args=[clientsock])
t.setDaemon(1)
t.start() r = Thread(target = handlesend,args=[clientsock])
r.setDaemon(1)
r.start()
客户端
#!/usr/bin/env python
#-*-coding:utf-8-*- from socket import *
import sys
from threading import * if(len(sys.argv) < 3):
HOST = 'localhost'
PORT = 51423
else:
HOST = sys.argv[1]
PORT = int(sys.argv[2]) BUFSIZ = 1024
ADDR = (HOST,PORT) def handlesend(tcpCliSock):
while True:
sdata = raw_input('> ')
if not sdata:
break
tcpCliSock.send(sdata) tcpCliSock.close() tcpCliSock = socket(AF_INET,SOCK_STREAM)
tcpCliSock.connect(ADDR) #建立发送消息的线程
s = Thread(target = handlesend,args=[tcpCliSock])
s.setDaemon(1)
s.start() while True:
rdata = tcpCliSock.recv(BUFSIZ)
if not rdata:
break
print rdata
tcpCliSock.close()
------------------------------------------------------------------
16-9----10 多用户全双工聊天。再次修改你的程序，把聊天服务改成支持多用户版本。(扩展功能多人，多房间，多线程，全双工)
服务端 cs.py
#!/usr/bin/env python
# _*_ coding: utf8 _*_ from socket import *
from time import ctime
import threading
from string import split HOST = ''
PORT = 21567
BUFSIZE = 1024
ADDR = (HOST, PORT) def Deal(sck, username, room):
while True:
data = sck.recv(BUFSIZE)
for i in clients[room].iterkeys():
if i <> username:
if data <> "quit":
clients[room][i].send("[%s] %s: %s" %(ctime(), username, data))
else:
clients[room][i].send("用户%s在%s退出房间%s" %(username, ctime(), room ))
if data == "quit":
del clients[room][username]
sck.send(data)
sck.close()
break chatSerSock = socket(AF_INET, SOCK_STREAM)
chatSerSock.bind(ADDR)
chatSerSock.listen(5) clients = {"":{},} while True:
print 'waiting for connection...'
chatCliSock, addr = chatSerSock.accept()
print "...connected romt: ", addr
data = chatCliSock.recv(BUFSIZE)
username, room = split(data)
print username
if not clients.has_key(room):
clients[room] = {}
if clients[room].has_key(username):
chatCliSock.send("reuse")
chatCliSock.close()
else:
chatCliSock.send("success")
clients[room][username] = chatCliSock
t = threading.Thread(target=Deal, args=(chatCliSock, username, room))
t.start() chatSerSock.close()
客户端 cc.py
#!/usr/bin/env python
# _*_ coding: utf8 _*_ from socket import *
from time import ctime
import threading
import random
from sys import argv, exit, stdout
from getopt import gnu_getopt, GetoptError help_info = ["cs.py [ -h | --help | -u | --username] username",
"\t-h or --help\t显示帮助信息",
"\t-u or --username\指定用户名",
"\t-r or --room\t指定房间"]
def help():
for i in help_info:
print i def Send(sck, test):
while True:
data = raw_input('>')
sck.send(data)
if data == "quit":
break
def Recieve(sck, test):
while True:
data = sck.recv(BUFSIZ)
if data == "quit":
sck.close()
break
str = "\n" + data + "\n>"
stdout.write(str) HOST = 'localhost'
PORT= 21567
BUFSIZ = 1024
ADDR = (HOST, PORT)
threads = [] if __name__ == "__main__":
# 解析命令行参数
try:
opts, args = gnu_getopt(argv[1:], "hu:r:", ["help", "username=", "room="])
except GetoptError, err:
print str(err)
help()
exit(2)
username = ""
room = ""
for o, a in opts:
if o in ("-h", "--help"):
help()
exit(0)
elif o in ("-u", "--username"):
username = a
elif o in ("-r", "--room"):
room = a
else:
print "未知选项"
help()
exit(2)
if not username or not room:
help()
exit(2)
chatCliSock = socket(AF_INET, SOCK_STREAM)
chatCliSock.connect(ADDR)
chatCliSock.send("%s %s" %(username, room))
data = chatCliSock.recv(BUFSIZ)
if data == "reuse":
print "用户%s已登录房间%s" %(username, room)
raw_input()
exit(1)
elif data == "success":
print "用户%s成功登录房间%s" %(username, room)
t = threading.Thread(target=Send, args = (chatCliSock, None))
threads.append(t)
t = threading.Thread(target=Recieve, args = (chatCliSock, None))
threads.append(t)
for i in range(len(threads)):
threads[i].start()
threads[0].join()