关于网络爬虫定时开始爬取网页内容

问下各位大神，我现在把网络爬虫基本写完了可以爬下自己需要的东西插入数据库，也可以避免重复的了。

但是现在还有个问题，领导希望能够比方说每天早上的固定时间让它自己去爬东西。我想问下要实现这一功能要用到什么类和方法？最好有大神能给我段代码看看的，小弟万分感谢哈

12 个解决方案

#1

很多种方法：
1.写成exe，然后用dos命令at去每天定时调用 
2.可以写成windows服务
3.可以写成包，通过数据库的“作业”去执行

#2

写成定时器吧。。。在网上找个万历表的实现，定时实现就ok了

#3

引用 1 楼 nice_fish 的回复:

很多种方法：
1.写成exe，然后用dos命令at去每天定时调用 
2.可以写成windows服务
3.可以写成包，通过数据库的“作业”去执行

我用了Process.Start("spiders"); 里面的是我的项目名称。问题是他老是不断的去执行我的项目关都关不掉我值想要他执行1次应该怎么弄？



还有弄成EXE的有代码么？我不知道搜什么关键字不还意思麻烦啦

#4

引用 2 楼 kllxyu 的回复:

写成定时器吧。。。在网上找个万历表的实现，定时实现就ok了

不好意思我百度的话关键字应该打什么？我搜C#万历表好像不太对

#5

http://blog.csdn.net/kllxyu/article/details/9122263这个是我写的定时器，你可以参考
这个博客 http://tangzenghuiit.blog.163.com/blog/static/1235293812009102215459862/

#6

引用 4 楼 u010303002 的回复:

Quote: 引用 2 楼 kllxyu 的回复:

写成定时器吧。。。在网上找个万历表的实现，定时实现就ok了

不好意思我百度的话关键字应该打什么？我搜C#万历表好像不太对

根据你的项目需求来看，你写的应该是个可直接执行的程序吧，

那什么程序、代码都不用，  windows有个东西叫计划任务，你想怎么设置就怎么设置

咱们几乎没有用到过这个功能，所以大家都把它遗忘了...

#7

引用 5 楼 kllxyu 的回复:

http://blog.csdn.net/kllxyu/article/details/9122263这个是我写的定时器，你可以参考
这个博客 http://tangzenghuiit.blog.163.com/blog/static/1235293812009102215459862/

问下如果再写个计时器的类是不是计时器的类要一直开着，我的网络爬虫才会到事件自动去抓取内容的么？

#8

肯定啊。

引用 7 楼 u010303002 的回复:

Quote: 引用 5 楼 kllxyu 的回复:

http://blog.csdn.net/kllxyu/article/details/9122263这个是我写的定时器，你可以参考
这个博客 http://tangzenghuiit.blog.163.com/blog/static/1235293812009102215459862/

问下如果再写个计时器的类是不是计时器的类要一直开着，我的网络爬虫才会到事件自动去抓取内容的么？

是滴

#9

引用 6 楼 wjqqonline 的回复:

Quote: 引用 4 楼 u010303002 的回复:

Quote: 引用 2 楼 kllxyu 的回复:

写成定时器吧。。。在网上找个万历表的实现，定时实现就ok了

不好意思我百度的话关键字应该打什么？我搜C#万历表好像不太对

根据你的项目需求来看，你写的应该是个可直接执行的程序吧，

那什么程序、代码都不用，  windows有个东西叫计划任务，你想怎么设置就怎么设置

咱们几乎没有用到过这个功能，所以大家都把它遗忘了...

谢谢，确实任务计划解决我的难题了。==去给领导看下过了的话就给你分哈，不然我还要再问问。新人分少求大神别见怪哈

#10

Java写过一个爬20多个网贷平台的模块。

#11

你可以把你写的源代码给我看看吗？[e-mail]..不胜感激~~

#12

可以分享下你的爬虫源代码吗？[e-mail]