本文出自:http://blog.****.net/dt235201314/article/details/71480961
欢迎Star(updating):https://github.com/JinBoy23520/CoderToDeveloperByTCLer
一丶慨述
本该是上周就应整理的文章现在才整理,类容太多,要学的太多。
博客参考内容:
视屏教程:韩顺平 Java 从入门到精通(Socket 半双工通信Demo)
慕课网:Android中的http通信(http://www.imooc.com/learn/304 )
本文内容:
1.Java网络相关基本概念
2.HttpURLConnection实现网址,图片,网址代码显示,Socket 实现半双工通讯。
效果演示:
Socket 半双工通信Demo
HttpURLConnectionDemo
二丶正文
1.常见的一些概念
OSI(先上入门到放弃版)
大学可是计算机专业,但是这是什么鬼?通信班学的吧?单看图也是蒙逼的。只知道这是互联网的七层架构
ISO百度链接:点击打开链接
****博文:OSI七层模型详解 一些相关名词介绍: url :百度百科(点击打开链接)网络访问文件的唯一标志地址。 IP:百度百科(点击打开链接)协议规定的统一的地址格式,网络给主机分配的逻辑层地址http:百度百科(点击打开链接)超文本传输协议
https:是以安全为目标的HTTP通道,简单讲是HTTP的安全版
TCP/IP协议:百度百科(点击打开链接)传输控制协议/因特网互联协议,又名网络通讯协议
UDP协议:百度百科(点击打开链接)全称是用户数据报协议
.....在写下去就晕了,网络发展史还是挺有意思的,感兴趣的可以看看,自己也可百度
看完上图不要害怕,全部搞懂那一定是大神,路漫漫其修远兮。我们呢得从基础开始
先看视频教程,上面提到的慕课网内容:
先说说观看上面视频的一些看法,在讲述http协议相关内容,响应头之类的是应用浏览器的开发工具network的监测返回讲解,比起其他文字图文的解说更有说服力,另一方面是带着简单服务器一起讲得,get post 请求更详细,有日常开发过程的感觉。可惜的是开发工具使用的Eclipse,而我使用Android studio整理这系列教程,Android Studio不支持服务器端,所以,服务器部分没有搭建,不能完整提供源码,也只是看完视频而没有敲完代码。大家有兴趣可以看一下这个视频,挺好的。
TCP/IP协议三次握手与四次握手(面试相关,之前也就记得7,4,3)(点击打开链接)
直接贴过来
一、TCP报文格式
TCP/IP协议的详细信息参看《TCP/IP协议详解》三卷本。下面是TCP报文格式图:
图1 TCP报文格式
上图中有几个字段需要重点介绍下:
(1)序号:Seq序号,占32位,用来标识从TCP源端向目的端发送的字节流,发起方发送数据时对此进行标记。
(2)确认序号:Ack序号,占32位,只有ACK标志位为1时,确认序号字段才有效,Ack=Seq+1。
(3)标志位:共6个,即URG、ACK、PSH、RST、SYN、FIN等,具体含义如下:
(A)URG:紧急指针(urgent pointer)有效。
(B)ACK:确认序号有效。
(C)PSH:接收方应该尽快将这个报文交给应用层。
(D)RST:重置连接。
(E)SYN:发起一个新连接。
(F)FIN:释放一个连接。
需要注意的是:
(A)不要将确认序号Ack与标志位中的ACK搞混了。
(B)确认方Ack=发起方Req+1,两端配对。
二、三次握手
所谓三次握手(Three-Way Handshake)即建立TCP连接,就是指建立一个TCP连接时,需要客户端和服务端总共发送3个包以确认连接的建立。在socket编程中,这一过程由客户端执行connect来触发,整个流程如下图所示:
图2 TCP三次握手
(1)第一次握手:Client将标志位SYN置为1,随机产生一个值seq=J,并将该数据包发送给Server,Client进入SYN_SENT状态,等待Server确认。
(2)第二次握手:Server收到数据包后由标志位SYN=1知道Client请求建立连接,Server将标志位SYN和ACK都置为1,ack=J+1,随机产生一个值seq=K,并将该数据包发送给Client以确认连接请求,Server进入SYN_RCVD状态。
(3)第三次握手:Client收到确认后,检查ack是否为J+1,ACK是否为1,如果正确则将标志位ACK置为1,ack=K+1,并将该数据包发送给Server,Server检查ack是否为K+1,ACK是否为1,如果正确则连接建立成功,Client和Server进入ESTABLISHED状态,完成三次握手,随后Client与Server之间可以开始传输数据了。
SYN攻击:
在三次握手过程中,Server发送SYN-ACK之后,收到Client的ACK之前的TCP连接称为半连接(half-open connect),此时Server处于SYN_RCVD状态,当收到ACK后,Server转入ESTABLISHED状态。SYN攻击就是Client在短时间内伪造大量不存在的IP地址,并向Server不断地发送SYN包,Server回复确认包,并等待Client的确认,由于源地址是不存在的,因此,Server需要不断重发直至超时,这些伪造的SYN包将产时间占用未连接队列,导致正常的SYN请求因为队列满而被丢弃,从而引起网络堵塞甚至系统瘫痪。SYN攻击时一种典型的DDOS攻击,检测SYN攻击的方式非常简单,即当Server上有大量半连接状态且源IP地址是随机的,则可以断定遭到SYN攻击了,使用如下命令可以让之现行:
#netstat -nap | grep SYN_RECV
三、四次挥手
三次握手耳熟能详,四次挥手估计就,所谓四次挥手(Four-Way Wavehand)即终止TCP连接,就是指断开一个TCP连接时,需要客户端和服务端总共发送4个包以确认连接的断开。在socket编程中,这一过程由客户端或服务端任一方执行close来触发,整个流程如下图所示:
图3 TCP四次挥手
由于TCP连接时全双工的,因此,每个方向都必须要单独进行关闭,这一原则是当一方完成数据发送任务后,发送一个FIN来终止这一方向的连接,收到一个FIN只是意味着这一方向上没有数据流动了,即不会再收到数据了,但是在这个TCP连接上仍然能够发送数据,直到这一方向也发送了FIN。首先进行关闭的一方将执行主动关闭,而另一方则执行被动关闭,上图描述的即是如此。
(1)第一次挥手:Client发送一个FIN,用来关闭Client到Server的数据传送,Client进入FIN_WAIT_1状态。
(2)第二次挥手:Server收到FIN后,发送一个ACK给Client,确认序号为收到序号+1(与SYN相同,一个FIN占用一个序号),Server进入CLOSE_WAIT状态。
(3)第三次挥手:Server发送一个FIN,用来关闭Server到Client的数据传送,Server进入LAST_ACK状态。
(4)第四次挥手:Client收到FIN后,Client进入TIME_WAIT状态,接着发送一个ACK给Server,确认序号为收到序号+1,Server进入CLOSED状态,完成四次挥手。
上面是一方主动关闭,另一方被动关闭的情况,实际中还会出现同时发起主动关闭的情况,具体流程如下图:
图4 同时挥手
流程和状态在上图中已经很明了了,在此不再赘述,可以参考前面的四次挥手解析步骤。
四、附注
关于三次握手与四次挥手通常都会有典型的面试题,在此提出供有需求的XDJM们参考:
(1)三次握手是什么或者流程?四次握手呢?答案前面分析就是。
(2)为什么建立连接是三次握手,而关闭连接却是四次挥手呢?
这是因为服务端在LISTEN状态下,收到建立连接请求的SYN报文后,把ACK和SYN放在一个报文里发送给客户端。而关闭连接时,当收到对方的FIN报文时,仅仅表示对方不再发送数据了但是还能接收数据,己方也未必全部数据都发送给对方了,所以己方可以立即close,也可以发送一些数据给对方后,再发送FIN报文给对方来表示同意现在关闭连接,因此,己方ACK和FIN一般都会分开发送。
HTTP请求
Http请求由三部分组成,分别是:请求行、消息报头、请求正文。
请求行以一个方法符号开头,以空格分开,后面跟着请求的URI和协议的版本号,格式如下:Method Request-URI HTTP-Version CRLF
其中Method表示请求的方法;Request-URI是一个统一资源标识符;HTTP-Version标识请求的HTTP协议版本;CRLF表示回车和换行(除了作为结尾的CRLF之外,不允许出现单独的CR或LF字符)。
请求方法(所有方法全为大写)有多种,各个方法解释如下:
GET 请求获取Request-URI所标识的资源
POST 在Request-URI所标识的资源后附加新的数据
HEAD 请求获取由Request-URI所标识的资源的响应消息报头
PUT 请求服务器存储一个资源,并用Request-URI作为其标识
DELETE 请求服务器删除Request-URI所标识的资源
TRACE 请求服务器回送收到的请求信息,主要用于测试或诊断
CONNECT 保留将来使用
OPTIONS 请求查询服务器的性能,或者查询与资源相关的选项和需求
应用举例:
GET方法:在浏览器的地址栏输入网址的方式访问网页时,浏览器采用GET方法向服务器获取资源,eg:GET/form.html HTTP/1.1(CRLF)
POST方法:要求被请求服务器接受负载请求后面的数据,常用于提交表单。
HTTP响应
在接收和解释请求消息后,服务器返回一个HTTP响应消息。
HTTP响应也是由三个部分组成,分别是:状态行、消息报头、响应正文。
状态行格式如下:
HTTP-Version Status——Code Reason-Phrase CRLF
其中,HTTP-Version标识服务器HTTP协议的版本;Status-Code标识服务器发回的响应状态代码;Reason-Phrase表示状态代码的文本描述。
状态代码有三位数字组成,第一个数字定义了响应的类别,且有五种可能取值:
1xx:指示信息–表示请求已接收,继续处理
2xx:成功–表示请求已被成功接收、理解、接受
3xx:重定向–要完成请求必须进行更进一步的操作
4xx:客户端错误–请求有语法错误或请求无法实现
5xx:服务器端错误–服务器未能实现合法的请求
常见状态代码、状态描述、说明:
200 OK //客户端请求成功
400 Bad Request //客户端请求有语法错误,不能被服务器所理解
401 Unauthorized //请求未经授权,这个状态代码必须和WWW-Authenticate报头域一起使用
403 Forbidden //服务器收到请求,但是拒绝提供服务
404 Not Found //请求资源不存在,eg:输入了错误的URL
500 Internal Server Error //服务器发生不可预期的错误
503 Server Unavailable //服务器当前不能处理客户端的请求,一段时间后可能恢复正常
eg:HTTP/1.1 200 OK (CRLF)
HTTP1.0和HTTP1.1区别
HTTP/1.0 每次请求都需要建立新的TCP连接,连接不可复用。
HTTP/1.1 新的请求可以在上次请求建立的TCP连接之上发送,连接可以复用,优点是减少重复进行TCP三次握手的开销,提高效率。
HTTP/1.1 在Request消息头里多了一个HOST域,HTTP1.0则没有这个域。HOST:www.w3.org
HTTP1.1 增加了OPTIONS,PUT,DELETE,TRACE,CONNECT这些Request方法。
HttpURLConnectionDemo
主Activity:
/**
* <pre>
* author : JinBiao
* **** : http://my.****.net/DT235201314
* time : 2017/05/09
* desc : 演示HttpURLConnect Get请求获取网页,图片,图片代码
* version: 1.0
* </pre>
*/
public class HttpURLConnectionActivity extends Activity implements View.OnClickListener {
private Button bt_tobaidu, bt_getimage, bt_tobaiduhtml;
private WebView wb_tobaidu;
private TextView tv_tobaiduhtml;
private ImageView iv_getimage;
private Bitmap bitmap;
private String detail = "";
private final static String PIC_URL = "http://d.hiphotos.baidu.com/image/pic/item/b03533fa828ba61e0bd9f7ef4534970a304e593e.jpg";
private final static String HTML_URL = "https://www.baidu.com/";
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.httpurlconnectionactivity);
bt_tobaidu = (Button) findViewById(R.id.bt_tobaidu);
bt_getimage = (Button) findViewById(R.id.bt_getimage);
bt_tobaiduhtml = (Button) findViewById(R.id.bt_tobaiduhtml);
wb_tobaidu = (WebView) findViewById(R.id.wb_tobaidu);
tv_tobaiduhtml = (TextView) findViewById(R.id.tv_tobaiduhtml);
iv_getimage = (ImageView) findViewById(R.id.iv_getimage);
bt_tobaidu.setOnClickListener(this);
bt_getimage.setOnClickListener(this);
bt_tobaiduhtml.setOnClickListener(this);
}
// 用于刷新界面
private Handler handler = new Handler() {
public void handleMessage(android.os.Message msg) {
switch (msg.what) {
case 0x001:
wb_tobaidu.setVisibility(View.GONE);
tv_tobaiduhtml.setVisibility(View.GONE);
iv_getimage.setVisibility(View.VISIBLE);
iv_getimage.setImageBitmap(bitmap);
Toast.makeText(HttpURLConnectionActivity.this, "图片加载完毕", Toast.LENGTH_SHORT).show();
break;
case 0x002:
wb_tobaidu.setVisibility(View.GONE);
iv_getimage.setVisibility(View.GONE);
tv_tobaiduhtml.setVisibility(View.VISIBLE);
tv_tobaiduhtml.setText(detail);
Toast.makeText(HttpURLConnectionActivity.this, "HTML代码加载完毕", Toast.LENGTH_SHORT).show();
break;
case 0x003:
tv_tobaiduhtml.setVisibility(View.GONE);
iv_getimage.setVisibility(View.GONE);
wb_tobaidu.setVisibility(View.VISIBLE);
wb_tobaidu.loadDataWithBaseURL("", detail, "text/html", "UTF-8", "");
Toast.makeText(HttpURLConnectionActivity.this, "网页加载完毕", Toast.LENGTH_SHORT).show();
break;
default:
break;
}
}
;
};
public void tobaidu() {
new Thread() {
public void run() {
try {
detail = GetData.getHtml(HTML_URL);
} catch (Exception e) {
e.printStackTrace();
}
handler.sendEmptyMessage(0x003);
}
}.start();
}
public void getimage() {
new Thread() {
public void run() {
try {
byte[] data = GetData.getImage(PIC_URL);
bitmap = BitmapFactory.decodeByteArray(data, 0, data.length);
} catch (Exception e) {
e.printStackTrace();
}
handler.sendEmptyMessage(0x001);
}
}.start();
}
public void tobaiduhtml() {
if ("".equals(detail)) {
Toast.makeText(HttpURLConnectionActivity.this, "先请求网页~", Toast.LENGTH_SHORT).show();
} else {
handler.sendEmptyMessage(0x002);
}
}
@Override
public void onClick(View v) {
switch (v.getId()) {
case R.id.bt_tobaidu:
tobaidu();
break;
case R.id.bt_getimage:
getimage();
break;
case R.id.bt_tobaiduhtml:
tobaiduhtml();
break;
}
}
}
get数据处理
**数据读取
* <pre>
* author : JinBiao
* **** : http://my.****.net/DT235201314
* time : 2017/05/09
* desc : get请求获取图片网络数据
* version: 1.0
* </pre>
*/
public class GetData {
// 定义一个获取网络图片数据的方法:
public static byte[] getImage(String path) throws Exception {
URL url = new URL(path);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
// 设置连接超时为5秒
conn.setConnectTimeout(5000);
// 设置请求类型为Get类型
conn.setRequestMethod("GET");
// 判断请求Url是否成功
if (conn.getResponseCode() != 200) {
throw new RuntimeException("请求url失败");
}
InputStream inStream = conn.getInputStream();
byte[] bt = StreamTool.read(inStream);
inStream.close();
return bt;
}
// 获取网页的html源代码
public static String getHtml(String path) throws Exception {
URL url = new URL(path);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setConnectTimeout(5000);
conn.setRequestMethod("GET");
if (conn.getResponseCode() == 200) {
InputStream in = conn.getInputStream();
byte[] data = StreamTool.read(in);
String html = new String(data, "UTF-8");
return html;
}
return null;
}
}
/**xml(略)
* <pre>
* author : JinBiao
* **** : http://my.****.net/DT235201314
* time : 2017/05/09
* desc : 从流中读取数据
* version: 1.0
* </pre>
*/
public class StreamTool {
public static byte[] read(InputStream inStream) throws Exception {
ByteArrayOutputStream outStream = new ByteArrayOutputStream();
byte[] buffer = new byte[1024];
int len = 0;
while ((len = inStream.read(buffer)) != -1) {
outStream.write(buffer, 0, len);
}
inStream.close();
return outStream.toByteArray();
}
}
Socket 半双工通信Demo
服务端
/**
* <pre>
* author : JinBiao
* **** : http://my.****.net/DT235201314
* time : 2017/05/02
* desc : 半双工通信演示服务端
* version: 1.0
* </pre>
*/
public class MyServer2 {
public static void main(String[] args) {
MyServer2 ms2 = new MyServer2();
}
public MyServer2() {
try {
//在9999端口上监听
System.out.println("服务器在9999监听。。。。");
ServerSocket ss = new ServerSocket(9999);
//等待连接
Socket s = ss.accept();
//先接受客户端发来的信息
InputStreamReader isr = new InputStreamReader(s.getInputStream());
BufferedReader br = new BufferedReader(isr);
//向连接中写东西
PrintWriter pw = new PrintWriter(s.getOutputStream(), true);
//接收从控制台输入的信息
InputStreamReader isr2 = new InputStreamReader(System.in);
BufferedReader br2 = new BufferedReader(isr2);
while (true) {
String infoFromClient = br.readLine();
System.out.println("客户发来" + infoFromClient);
if (infoFromClient.equals("bye")) {
System.out.println("退出");
s.close();
break;
}
//接手从控制多台输送的信息
System.out.println("请输入你希望对客户端说的话");
String response = br2.readLine();
//把从控制台接受的信息会送到客户端
pw.println(response);
}
} catch (Exception e) {
// TODO: handle exception
e.printStackTrace();
}
}
}
客户端
/**
* <pre>
* author : JinBiao
* **** : http://my.****.net/DT235201314
* time : 2017/05/02
* desc : 半双工通信演示客户端
* version: 1.0
* </pre>
*/
public class MyClient2 {
public static void main(String[] args) {
// TODO Auto-generated method stub
MyClient2 my2 = new MyClient2();
}
public MyClient2() {
try {
//连接服务器,公司电脑ip在变,cmd里输入ipconfig查询
Socket s = new Socket("10.68.215.151", 9999);
PrintWriter pw = new PrintWriter(s.getOutputStream(), true);
InputStreamReader isr = new InputStreamReader(System.in);
BufferedReader br = new BufferedReader(isr);
InputStreamReader isr2 = new InputStreamReader(s.getInputStream());
BufferedReader br2 = new BufferedReader(isr2);
while (true) {
System.out.print("请输入你想对服务器说的话:");
//客户端从客户端接收
String info = br.readLine();
//然后发送给服务器
pw.println(info);
//退出对话
if (info.equals("bye")) {
System.out.println("对话结束");
s.close();
break;
}
//接受从服务器发来的话
String res = br2.readLine();
System.out.println("服务器说" + res);
}
} catch (Exception e) {
// TODO: handle exception
e.printStackTrace();
}
}
}
延伸阅读:Android网络请求心路历程(点击打开链接)
大神系列博客推荐:
coder-pig http系列:http://blog.****.net/zpj779878443/article/category/5102635
总结:Android工作后,直接接触的就是网络框架Volley,所以对基础得网络并不熟悉,通过学习,发现基本原理都是类似的,虽然以后开发还是会用框架,但对网络的学习会持续,听说下一个Android将用到的框架是rxjava + retrofit2.0 + mvp ,很是期待,看大神如何封装的,也是最近比较热门的框架组合,有机会再给大家分享。