Java实现-------网络蜘蛛

时间:2022-09-02 10:38:59

  闲来无事,学习了一下网络蜘蛛的简易原理。是最简单的一种,一般新手都可以看得懂哦

  读者可以将其进行扩展,可以实现用来抓取网页js或者css等网络资源,后续可以通过自定义解析获取想要的资源。

 

package com.insist.entity;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.Set; /**
* 网络蜘蛛类
* @author SNOOPY
*/
public class Spider {
/**
*
* @param srcLink 要获取网页源码的路径
* @param encoding 编码格式
* @return
*/
public static String getPageHtmlSource(String srcLink){
//List<String> list = new ArrayList<String>();
InputStream inputStream = null;
InputStreamReader inputStreamReader =null;
BufferedReader bufferedReader = null;
StringBuilder strBuilder = null;
String htmlcode = null;
try {
//1、建立与网页服务器连接
URL url = new URL(srcLink);
URLConnection urlconnection =url.openConnection();//打开链接
//urlconnection.setRequestProperty("User-Agent", "java"); String encoding = getHtmlEncoding(srcLink,url);
System.out.println("encoding====="+encoding);
//2、通过该连接,读取数据(获取输入流)
inputStream = urlconnection.getInputStream();//得到字节输入流
inputStreamReader = new InputStreamReader(inputStream,encoding);//转为字符流 bufferedReader = new BufferedReader(inputStreamReader);//构建缓冲输入流
strBuilder = new StringBuilder();//非线程安全,多线程同时访问时会有问题 但效率高 StringBuffer 线程安全 String line = null;//存储一行数据
while((line=bufferedReader.readLine())!=null){
strBuilder.append(line+"\r\n");//回车换行区别 回车: 回到同一行的起始位置,换行:换到下一行
}
htmlcode = strBuilder.toString(); } catch (MalformedURLException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}finally{
try {
bufferedReader.close();
inputStreamReader.close();
inputStream.close();
} catch (IOException e) {
e.printStackTrace();
}
}
return htmlcode;
}
public static String getHtmlEncoding(String url,URL Url){
/**
* 根据头部获取encoding
*/
String encoding = null;
try {
HttpURLConnection huc = (HttpURLConnection)Url.openConnection();
huc.connect();
Map<String,List<String>> map = huc.getHeaderFields();
Set<String> keys = map.keySet();
Iterator<String> it = keys.iterator();
String key = null;
String tmp = null;
while (it.hasNext()) {
key = it.next();
tmp = map.get(key).toString().toLowerCase();
// 获取content-type charset
if (key != null && key.equals("Content-Type")) {
int m = tmp.indexOf("charset=");//返回指定子字符串在此字符串中第一次出现处的索引。
if (m != -1) {
encoding = tmp.substring(m + 8).replace("]", "");
return encoding;
}
}
}
} catch (MalformedURLException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
return encoding;
}
public static void main(String[] args) {
/**
* 测试方法
* 最好用浏览器进行测试,控制台测试也可以,但是可能因为网页字符集和控制台字符集不匹配造成不能显示汉子
*/
String srcURL ="http://www.qq.com";
String html = getPageHtmlSource(srcURL);
System.out.println(html);
}
}

Java实现-------网络蜘蛛的更多相关文章

  1. Java网络蜘蛛&sol;网络爬虫 Spiderman

    Spiderman - 又一个Java网络蜘蛛/爬虫 Spiderman 是一个基于微内核+插件式架构的网络蜘蛛,它的目标是通过简单的方法就能将复杂的目标网页信息抓取并解析为自己所需要的业务数据. 主 ...

  2. 使用Java实现网络爬虫

    网络爬虫 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本. 另外一些不常使用的名字还有蚂蚁.自动索引.模 ...

  3. 二十三、Java基础--------网络编程

    Java中另一个重要技术就是网络编程了,为了更好的学习web方向的知识,有必要对java之网络编程好好学习,本文将围绕网络编程技术进行分析. 常见的网络协议:UDP.TCP UDP 1. 将数据源和目 ...

  4. JAVA的网络编程

    网络编程 网络编程对于很多的初学者来说,都是很向往的一种编程技能,但是很多的初学者却因为很长一段时间无法进入网络编程的大门而放弃了对于该部分技术的学习. 在 学习网络编程以前,很多初学者可能觉得网络编 ...

  5. 转帖不会乱码的,powershell网络蜘蛛

    抓取(爬取)网上信息的脚本程序,俗称网络蜘蛛.powershell中自带了这样的两个命令,[Invoke-WebRequest]和[Invoke-RestMethod],但这两个命令有时候会乱码. 现 ...

  6. Java Socket 网络编程心跳设计概念

    Java Socket 网络编程心跳设计概念   1.一般是用来判断对方(设备,进程或其它网元)是否正常动行,一 般采用定时发送简单的通讯包,如果在指定时间段内未收到对方响应,则判断对方已经当掉.用于 ...

  7. 20145325张梓靖 实验五 &quot&semi;JAVA的网络编程&quot&semi;

    20145325张梓靖 实验五 "JAVA的网络编程" 实验内容 使用 JVAV语言 进行网络编程 对明文进行加密 设计过程 我完成的是客户端,服务端同伴 20145308刘昊阳 ...

  8. 【转】JAVA之网络编程

    转自:火之光 网络编程 网络编程对于很多的初学者来说,都是很向往的一种编程技能,但是很多的初学者却因为很长一段时间无法进入网络编程的大门而放弃了对于该部分技术的学习. 在 学习网络编程以前,很多初学者 ...

  9. JAVA的网络编程【转】

    JAVA的网络编程[转] Posted on 2009-12-03 18:04 火之光 阅读(93441) 评论(20) 编辑 收藏 网络编程 网络编程对于很多的初学者来说,都是很向往的一种编程技能, ...

随机推荐

  1. 使用Yii框架完整搭建网站流程入门

    下载地址: http://www.yiiframework.com/ http://www.yiichina.com/ 由美籍华人薛强研究而出, Yii 这个名字(读作易(Yee))代表 简单(eas ...

  2. 解决git无法clone提示443以及配置git代理方法

    git config --global http.proxy 'socks5://127.0.0.1:1080' 设置完成之后再次clone就会成功了(当然前提是你有s's而且在开启的前提下)

  3. 转:关于垂直网格与CSS基线对其的探讨

    网页设计布局中一直比较流行网格对齐,但只是针对水平的对齐,很少或者没有涉及垂直对齐,这篇文章很详细的讲解了垂直网格,乃至基线对其的相关,而css3中的多列布局的也使其显得更为重要,因此还是很有必要去了 ...

  4. java类的继承

    继承就是在一个现有类型的基础上,通过增加新的方法或者重定义已有方法(重写)的方式,产生一个新的类型.继承是面向对 象的三个基本特征--封装.继承.多态的其中之一,我们在使用java时编写的每一个类都是 ...

  5. PHP取当前页面完整URL地址

    #测试网址: http://localhost/blog/testurl.php?id=5 //获取域名或主机地址 echo $_SERVER['HTTP_HOST']."<br&gt ...

  6. error C2440&colon;&OpenCurlyDoubleQuote;类型转换&quot&semi;&colon;无法从&OpenCurlyDoubleQuote;void &lpar;&lowbar;&lowbar;thiscall Play1&colon;&colon;&ast; &rpar;&lpar;int &ast;&rpar;”转换为&OpenCurlyDoubleQuote;cocos2d&colon;&colon;SEL&lowbar;CallFucN

    转自:http://zhidao.baidu.com/link?url=VfSSkA0xfTVwNKaKh4tqW_sXlcsK-Rb16nEtQw5zaq5_306lnwJN3Kdb-rFp-r4L ...

  7. bzoj 4830&colon; &lbrack;Hnoi2017&rsqb;抛硬币 &lbrack;范德蒙德卷积 扩展lucas&rsqb;

    4830: [Hnoi2017]抛硬币 题意:A投a次硬币,B投b次硬币,a比b正面朝上次数多的方案数,模\(10^k\). \(b \le a \le b+10000 \le 10^{15}, k ...

  8. ORA-04028&colon; cannot generate diana for object xxx

    在ORACLE数据库(10.2.0.5.0)上修改一个包的时候,编译有错误,具体错误信息为"ORA-04028: cannot generate diana for object xxx&q ...

  9. Frame Interpolation

    对于视频网站.电视厂商以及进行视频压制的用户来说,改变视频的帧率算是一个比较常见的需求.视频网站改变帧率主要是为了向不同级别的网站用户提供差异化服务:电视厂商则是以提供更好的显示效果作为电视的卖点:对 ...

  10. cron定时任务

    1.确认系统安装了cron rpm -aq | grep crontabs 2.认识cron时间格式 3.生成定时任务 crontab -e #进入任务命令编辑模式 30 7,12,20 * * * ...