4.1 系统具体功能
4.1.1 系统的整体功能模块
基于京东商品数据采集与可视化分析大屏的系统可以分为以下几个功能模块：
- 数据采集模块：该模块负责从京东网站上采集商品信息，包括商品名称、价格、销量、评价等数据。使用Python的网络爬虫技术，如BeautifulSoup，实现数据的自动化采集。
- 数据存储模块：采集到的商品数据需要进行存储和管理，以便后续的分析和展示。这个模块使用MySQL数据库作为数据存储的解决方案，将采集到的数据存储到数据库中，方便后续的查询和处理。
- 数据处理模块：在数据存储后，需要对数据进行处理和清洗，以便进行后续的分析。使用Python的数据处理库，如Pandas和NumPy，对数据进行清洗、筛选和转换等操作，以获得准确、可靠的数据。
- 数据可视化模块：经过数据处理后，使用Python的可视化库，如echart，将数据进行可视化展示。可以绘制各种图表，如柱状图、折线图、饼图等，以便更直观地展示商品数据的特征和趋势。
- 大屏模块：使用Python Flask框架搭建Web应用程序，实现可视化展示。
4.1.2 系统整体界面设计
基于京东商品数据采集与可视化分析大屏的系统页面设计，旨在通过直观的图表和可视化展示京东平台上的商品数据，为用户提供全面的数据分析和决策支持。该系统页面以大屏幕为主要展示媒介，不涉及用户交互界面、导航和搜索功能。
系统页面的设计注重以下要点：
数据展示：通过图表、表格、指标等方式展示京东商品数据的各项指标和趋势，如销售额、销量、价格变动等。可以使用柱状图、折线图、饼图等多种可视化方式呈现数据，使用户能够直观地了解商品数据情况。
实时更新：确保数据展示实时更新，以反映最新的商品数据情况。可以通过定时刷新或实时数据流接入等方式实现数据的及时更新，并向用户展示最新的数据信息。
多维度分析：提供多维度的数据分析，例如按照商品类别、品牌、地域等进行数据筛选和比较分析。通过交互式的数据筛选和切换功能，让用户能够根据自己的需求进行数据深入分析。
数据趋势分析：通过趋势图和时间序列分析，展示商品数据的变化趋势和周期性规律。用户可以从中发现潜在的市场趋势和销售机会，为业务决策提供参考。
界面布局：页面布局应简洁明了，注重数据可视化效果和信息呈现的清晰性。合理安排各个图表和指标的位置和大小，使其易于阅读和理解。
4.2流程设计
4.2.1 数据采集流程
数据采集流程如图2所示。首先，使用requests库向京东搜索页面发送请求，通过解析HTML获取商品信息，并将数据存储到data列表中。然后，使用BeautifulSoup库对HTML进行解析，提取出商品的相关信息，如商品ID、标题、价格、店铺名和图片链接等。在循环结束后，将采集到的数据转换为DataFrame对象，并将其存储为Excel文件。
其中通过循环遍历多页来采集数据。每次请求页面后，使用随机延时模拟人工浏览行为，以避免频繁访问被封IP。通过解析HTML结构，找到目标元素并提取所需信息，最终将数据存储到DataFrame对象中。可以根据需要调整代码中的请求参数、解析方式和数据存储方式。
整体流程是：发送请求 -> 解析响应 -> 提取字段 -> 写入DataFrame->存为Excel ->存入MySQL数据库。通过这个流程，可以实现对京东商品数据的采集与存储。
数据代码如下：
l = 'http:' + i.find('div', class_="p-img").find('a').find('img').get('data-lazy-img')
# 将采集的数据添加到列表中
data.append([shop_id, shop_title, shop_price, shop_name, img_url])
print(shop_id, shop_title, shop_price, shop_name, img_url)
print("第"+str(a)+"页已采集")
# 将采集的数据转换为DataFrame对象
df = pd.DataFrame(data, columns=['shop_id', 'shop_title', 'shop_price', 'shop_name', 'img_url'])
最终效果如下
