文件名称：实验七：Spark初级编程实践
文件大小：1.9MB
文件格式：DOCX
更新时间：2022-07-15 16:28:59
大数据 spark hadoop
1、实验环境： 设备名称 LAPTOP-9KJS8HO6 处理器 Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz 2.50 GHz 机带 RAM 16.0 GB (15.8 GB 可用) 主机操作系统 Windows 10 家庭中文版 虚拟机操作系统 ubuntukylin-16.04 Hadoop 版本 3.1.3 JDK 版本 1.8 Java IDE：Eclipse 系统类型 64 位操作系统, 基于 x64 的处理器 笔和触控 没有可用于此显示器的笔或触控输入 2、实验内容与完成情况： 1. 安装hadoop和spark。 将下载好的安装包解压至固定路径并安装 使用命令./bin/spark-shell启动spark 图2启动spark 2. Spark读取文件系统的数据 （1） 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数； 图3 spark统计行数 （2） 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”（