头歌：RDD的创建 -Scala
第1关：集合并行化创建RDD 任务描述 本关任务：计算并输出各个学生的总成绩。 相关知识 为了完成本关任务，你需要掌握：1.集合并行化创建RDD，2.reduceByKey算子、foreach算子 集合创建RDD Spark会将集合中的数据拷贝到集群上去，形成一个分布式的数据集合，也就是一个...
Scala
简介 概述 Scala是Martin Ordersky(马丁.奥德斯科/基)于2001年开始设计的一门支持面向对象(Object-oriented)和函数式编程(Functional Programming)的多范式语言Scala的官网：www.scala-lang.orgScala目前为止有3个...
Scala学习
1. 注释（与JAVA一致） 单行// 多行/* */ 2. 变量 1. 赋值格式 与JAVA不太相同 var 变量名 ：变量类型 = 变量值 var 表示可变变量 注意这里变量名在类型之前，而且中间是：分隔符 object ScalaVariable { def main(args: Arr...
使用scala开发spark入门总结
使用scala开发spark入门总结一、spark简单介绍关于spark的介绍网上有很多，可以自行百度和google，这里只做简单介绍。推荐简单介绍连接：http:...
IDEA 本地调试spark程序 Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.
1.很简单的一测试程序：2.run运行时：出现ERROR,报错行显示在 new SparkContext 这行。val sc = new SparkContext(conf)Exception in thread "main" java.lang.NoSuchMethodError: scala....
Spark-Scala语言实战（16）
在之前的文章中，我们学习了三道任务，运用之前学到的方法。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。 Spark-Scala语言实战（15）-CSDN博客文章浏览阅读1.5k次，点赞38次，收藏32次。今天开始的文章，我会带着大家来...
Flink读取kafka scala 和 java的小坑
报错就是找不到kafka的类Caused by: java.lang.ClassNotFoundException: org.apache.kafka.clients.consumer.ConsumerRecordCaused by: java.lang.ClassNotFoundException...
MacOS IDEA配置scala
1.前提：scala已经在mac本地安装：2.新建项目后，点击项目，右键，点击Add Framwork Support3.找到scala，刚开始时“scala-dk-2.11.8”是没有的，需要自己找所以点击create，再点击Browe…4.来到自己安装scala的目录。选择scala-2.11....
Idea Maven构建Scala项目Cannot connect t compileserver 解决方法
Idea Maven构建Scala项目后运行时报错解决方法Warning:scalac: Cannot connect to compile server at localhost/127.0.0.1:3200Trying to compile without it这是因为Scala Compile...
使用idea开发Spark程序报错scala.util.matching.Regex或lass scala.collection.mutable.WrappedArray overrides fina
问题的出现：使用idea进行Spark开发的时候报错个人遇到的报错scala.util.matching.Regex.(Ljava/lang/String;Lscala/collection/Seq;)Vjava.lang.VerifyError: class scala.collection.mu...
在idea 中配置scala插件
今天小编又来了，这几天一直在搞scala，今天小编是在idea中配置scala，小编安装的是idea2019。1. 安装idea安装idea，小编是按照软件安装管家公众号来安装的。2.下载安装Scala插件打开idea,close项目后，点击Configure->Plugins打开idea,c...
Scala的变量声明详解
在声明变量时，Scala 允许你决定该变量是不可变（只读）的，还是可变的（读写）。如下所示，不可变的“变量”用 val 关键字声明： val array: Array[String] = new Array(5) Scala 的大部分变量事实上是指向堆内存对象的引用，这一点与 Java 一致。所以，...
win10系统下如何解决jdk版本和scala版本不兼容问题？
最近因为做项目需要接触Scala，因此自己摸索安装相关软件，但是在安装的时候就遇到了不同的问题，那我就带大家说一下我的解决方法。安装Scala的前提是，你得提前配好Java环境。一般Jdk和Scala兼容的版本如下图：在安装的过程中，如果版本不匹配我暂时只遇到了两种问题 ：1、会报错误...
IDEA导入scala详解
IDEA的确是一款非常优秀的软件开发工具，但是对于新手来说增加一些插件总会遇到一些问题，下面主要描述IDEA集成scala开发一、下载和IDEA相同版本的scala插件查看自己的IEDA的版本(图标就有)，我试过不对应版本是不能导入成功的，会报错如图我这里是2018.2.5版本的IDEA,那就下对应...
什么是scala？scala与java对比
1.什么是ScalaScala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。 2.为什么要学Scala优雅：这是框架设计师第一个要考虑的...
spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse和IntelliJ IDEA皆适用）（以spark2.2.0源码包为例）（图文详解）
不多说，直接上干货！前言 其实啊，无论你是初学者还是具备了有一定spark编程经验，都需要对spark源码足够重视起来。本人，肺腑之己见，想要成为大数据的大牛和顶尖专家，多结合源码和操练编程。好一段时间之前，写过这篇博客使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spar...
Eclipse+maven+scala2.11.8+spark2.0.0的环境部署
主要在maven-for-scalaIDE纠结了，因为在eclipse版本是luna4.x 里面有自己带有的maven。根据网上面无脑的下一步下一步，出现了错误，在此讲解各个插件的用途，以此新人看见了，少走一些弯路。其实主要的问题是自己独立去下载scala插件，把scala依赖包拷贝到eclipse...
Scala第十九章节(Actor的相关概述、Actor发送和接收消息以及WordCount案例)
Scala第十九章节 章节目标 了解Actor的相关概述掌握Actor发送和接收消息掌握WordCount案例1. Actor介绍 Scala中的Actor并发编程模型可以用来开发比Java线程效率更高的并发程序。我们学习Scala Actor的目的主要是为后续学习Akka做准备。 1.1 Java...
大数据手写面试题Scala语言实现大全（持续更新）
大数据手写面试题Scala语言实现大全（持续更新） 在大数据领域，Scala语言因其强大的函数式编程特性和对并发处理的良好支持而成为了开发者们的热门选...
vim配置支持Scala语法高亮
转自：https://wongxingjun.github.io/2015/04/15/vim%E9%85%8D%E7%BD%AE%E6%94%AF%E6%8C%81Scala%E8%AF%AD%E6%B3%95%E9%AB%98%E4%BA%AE/vim配置支持Scala语法高亮在老大的感染下，我...