文件名称：其他在线内容数据处理量分析-c_#与.net程序员面试宝典
文件大小：2.01MB
文件格式：PDF
更新时间：2024-07-13 09:53:12
大数据
（1）网站群用户访问行为数据处理量分析 以每天 725 万个客户端访问（包括 500 万 PV、100万 Session、 125 万 Cookie）并发计算，结合在线行为数据的接收主要集中在工 作时间，7250000/8小时/60分钟/60 秒=251个/秒，日志接收服务 器接受每秒钟接收日志请求 251 个，远远低于系统的每秒接收到的 正常数（该值通常为 7000-9000）。 根据日志接收每秒钟的并发量为 251，因此系统的数据接收只 需要再用两台服务器做负载均衡即可。但是为了防止数据接收网站 的域名出现单点故障，因此系统的数据接收采用双域名备份，即每 个域名对应两台数据接收服务器，一共四台。 根据系统需要满足***网站智能分析系统诊断的需要，目前 系统的单台服务器的数据处理能力为 400 家左右，因此需要 4 台数 据库服务器，另外需要两台相同配置的数据库服务器作为备份。 （2）其他在线内容数据处理量分析 一是系统需要支持对不少于 108 万个数据采集点每天至少一次 轮询抓取，同时对抓取回的数据进行数据预处理和清洗入库工作， 二是需要实现对存量数据和增量数据的指标自动抽取和更新工作， 三是需要支持前台交互系统的交互分析挖掘需求。 结合以上几部分需求，预计所需的内容数据处理服务器约 50 台。其中较高性能处理服务器（单机 20 核服务器 CPU:2660*2 MEM:144G DISK:SSD 480G*2+SAS 4T*6，万兆网卡，远程管理，双电