今天刚开始做毕设....好吧,,简直有点晚。我的毕设设计需要爬取豆瓣的影戏保举,于是就需要解析爬取下来的html,之前用Python玩过解析,但目前我使用的是C#,我感受C#不比python差,有微软大大在,这个不需要担忧,主要还是生态问题。查了下资料,发明Html Agility Pack是对照好的,固然还有其他的,我就不说了,主要使用它做的。
官网地点(可以本身去下载dll):
参考:Html Agility Pack根本类介绍及运用
代码设计:
static void complete(object o, AsyncCompletedEventArgs e) { // 开始解析html var doc = new HtmlDocument(); doc.Load( "E:\措施文件\C#措施代码\Validate\ConsoleApplication1\movie.txt", Encoding.UTF8); List<string> movie = new List<string>(); // HtmlNodeCollection nodeCollection = doc.DocumentNode.SelectNodes("//ul/li[ class=\"title\"]"); foreach (HtmlNode n in nodeCollection) { Console.WriteLine(n.InnerHtml.Trim()); movie.Add(n.InnerText.Trim()); } //获取豆瓣最受欢迎影评 HtmlNodeCollection nodeCollection1 = doc.DocumentNode.SelectNodes("//div[ class=\"review-bd\"]/h3"); foreach (HtmlNode n in nodeCollection1) { Console.WriteLine(n.InnerHtml.Trim()); movie.Add(n.InnerText.Trim()); } foreach(var m in movie) { Console.WriteLine(m); } File.Delete( "E:\措施文件\C#措施代码\Validate\ConsoleApplication1\movie.txt"); } static void Main(string[] args) { Console.BufferHeight = 10000; Console.BufferWidth = 10000; string moviePath = "E:\措施文件\C#措施代码\Validate\ConsoleApplication1\movie.txt"; WebClient wc = new WebClient(); wc.UseDefaultCredentials = true; wc.DownloadFileAsync(new Uri("https://movie.douban.com/"), moviePath); wc.DownloadFileCompleted += new AsyncCompletedEventHandler(complete); Console.Read(); }
对付WebClient文档,请看https://msdn.microsoft.com/zh-cn/library/system.net.webclient(v=vs.110).aspx
不得不说,微软官网的系列文档真是良心!以前也是听人说过,微软的解决方案以及文档很全,但是一直查资料都是直接百度,此刻换了一种,直接上微软官网查....真是良心!而且例子是对照经典的!