spark安装mysql与hive

时间:2023-01-01 15:29:51
第一眼spark安装文件夹lib\spark-assembly-1.0.0-hadoop2.2.0.jar\org\apache\spark\sql下有没有hive文件夹,假设没有的话先下载支持hive版的spark。

安装mysql
lsb_release -a  查看虚拟机版本号
http://dev.mysql.com/downloads/mysql#downloads  官网上下载对应版本号
下载三个
MySQL-server-5.6.20-1.el6.i686.rpm
MySQL-client-5.6.20-1.el6.i686.rpm
MySQL-devel-5.6.20-1.el6.i686.rpm

进入下载的软件存放文件夹进行安装,否则安装后会出问题
rpm -ivh MySQL-server-5.6.20-1.el6.i686.rpm

rpm -ivh MySQL-client-5.6.20-1.el6.i686.rpm

rpm -ivh MySQL-devel-5.6.20-1.el6.i686.rpm

启动服务  service mysql start

mysql  -uroot -p
直接回车不输password,报错。认真查看安装时打印出来的信息,发现mysql给root用户随机生成了password,写在  /root/.mysql_secret  中,所以。
cat /root/.mysql_secret   
查看password,XlP5M_wE8w0LgrCG。
登录成功。
此时假设想继续操作。会报错,要求你改动默认password
SET
PASSWORD = PASSWORD('new_password')
就可以。

重新启动与停止mysql服务

启动方式1:service mysql start

启动方式2:/etc/init.d/mysql start

停止方式1:service mysql stop

停止方式2:/etc/init.d/mysql shutdown

重新启动方式1:service mysql restart

重新启动方式2:/etc/init.d/mysql restart


创建hadoop用户。
create user 'hadoop' identified by 'hadoop';
grant all on *.* to hadoop@'%' with grant option; 
exit
又一次用hadoop用户登陆并创建hive数据库
mysql -uhadoop -p
create database hive;
use hive
show tables;
exit

下载apache-hive-0.13.1-bin.tar.gz
解压  tar zxf  apache-hive-0.13.1-bin.tar.gz
改名  mv apache-hive-0.13.1-bin hive013

改动配置文件 cd hive013/conf

 cp hive-default.xml.template hive-site.xml

 cp hive-env.sh.template hive-env.sh
 vi hive-env.sh
    HADOOP_HOME=/app/hadoop/hadoop220
vi hive-site.xml
    <property> 

  <name>javax.jdo.option.ConnectionURL</name> 

  <value>jdbc:mysql://DataNode2:3306/hive?=createDatabaseIfNotExist=true</value> 

  <description>JDBC connect string for a JDBC metastore</description> 

</property> 

<property> 

  <name>javax.jdo.option.ConnectionDriverName</name> 

  <value>com.mysql.jdbc.Driver</value> 

  <description>Driver class name for a JDBC metastore</description> 

</property> 

<property> 

  <name>javax.jdo.option.ConnectionUserName</name> 

  <value>hadoop</value> 

  <description>username to use against metastore database</description> 

</property> 

<property> 

  <name>javax.jdo.option.ConnectionPassword</name> 

  <value>hadoop</value> 

  <description>password to use against metastore database</description> 

</property>

###hive.metastore.warehouse.dir是用缺省位置,能够自行改动

添加驱动程序

mysql-connector-java-5.1.26-bin.jar 到/app/hadoop/hive013/lib/.文件夹下

show databases;
能够看到default数据库

hiveclient安装
从datanode2上直接拷贝到datanode1:
scp hive013/ hadoop@DatNode1:/app/hadoop/

conf文件夹下 vi hive-site.xml
<property>

  <name>hive.metastore.uris</name>

  <value>thrift://DataNode2:9083</value>

  <description>Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.</description>

</property>


后台执行

前台退出ctrl+c 

nohup bin/hive --service metastore > metastore.log 2>&1 &

后台退出

jobs
kill %num

版权声明:本文博主原创文章。博客,未经同意不得转载。

spark安装mysql与hive的更多相关文章

  1. Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》

    一.Hive的简单使用 基本的命令和MySQL的命令差不多 首先在 /opt/datas 下创建数据  students.txt 1001 zhangsan 1002 lisi 1003 wangwu ...

  2. Spark操作MySQL,Hive并写入MySQL数据库

    最近一个项目,需要操作近70亿数据进行统计分析.如果存入MySQL,很难读取如此大的数据,即使使用搜索引擎,也是非常慢.经过调研决定借助我们公司大数据平台结合Spark技术完成这么大数据量的统计分析. ...

  3. Hive on Spark安装配置详解(都是坑啊)

    个人主页:http://www.linbingdong.com 简书地址:http://www.jianshu.com/p/a7f75b868568 简介 本文主要记录如何安装配置Hive on Sp ...

  4. 60分钟内从零起步驾驭Hive实战学习笔记(Ubuntu里安装mysql)

    本博文的主要内容是: 1. Hive本质解析 2. Hive安装实战 3. 使用Hive操作搜索引擎数据实战 SparkSQL前身是Shark,Shark强烈依赖于Hive.Spark原来没有做SQL ...

  5. HIve体系结构,hive的安装和mysql的安装,以及hive的一些简单使用

    Hive体系结构: 是建立在hadoop之上的数据仓库基础架构. 和数据库相似,只不过数据库侧重于一些事务性的一些操作,比如修改,删除,查询,在数据库这块发生的比较多.数据仓库主要侧重于查询.对于相同 ...

  6. mysql 和 hive 和分布式zookeeper和HBASE分布式安装教程

    一,mysql 安装mysql5.7完整教程1. yum -y install mysql-server直接执行语句后等待就好已安装: mysql-community-server.x86_64 0: ...

  7. 安装MySQL与安装Hive

    安装mysql 检查是否安装mysql: rpm -qa |grep mysql 删除已经安装的mysql: rpm -e mysql-libs-5.1.71-1.el6.x86_64 报错:因为my ...

  8. hive0&period;13&period;1安装-mysql server作为hive的metastore

    hive0.13.1在hadoop2.4.1伪分布式部署上安装过程 环境:redhat enterprice 6.5 +hadoop2.4.1+hive0.13.1+mysql单节点伪分布式部署 相关 ...

  9. 1&period;5 Hive初步使用和安装MySQL

    一.HQL初步试用 1.创建一个student表 #创建一个student表 hive> create table student(id int, name string) ROW FORMAT ...

随机推荐

  1. C&plus;&plus;代码重构——从C global到C&plus;&plus; template

    在学数据结构的时候,我常有这样目标--写出能够最大程度复用的代码(算法正确,封装优秀).我常想--如何能在短时间内达成"算法正确,封装优秀"这样的目标.经过一段时间的摸索,我的结论 ...

  2. win7搭建ios开发环境

    安装过程参考文章: http://jingyan.baidu.com/article/ff411625b9011212e48237b4.html http://www.loukit.com/threa ...

  3. Detecting an Ajax request in PHP

    1:index.html <!DOCTYPE html> <html lang="en"> <head> <meta charset=&q ...

  4. YouKu iOS笔试题一

    序言 最近收到某某同学将去youku的iOS笔试题的邮件,希望笔者能整理一下,并提供参考答案.笔者决定整理出来,并分享给大家.当然,与此同时,也想看看youku的笔试题到底有多难,也考考自己有多少料吧 ...

  5. Routing 为 Magento 2 一个重要的部分,本文介绍基本应用

    Routing 为 Magento 2 一个重要的部分,本文介绍基本应用 Magento 2请求的流程 在Magento 2中,请求URL将如下所示: http://example.com/index ...

  6. php 生成订单号201807205598981

    php版 /** * 生成唯一订单号 */ public function build_order_no() { $no = date('Ymd').substr(implode(NULL, arra ...

  7. LOJ-10102(桥的判断)

    题目链接:传送门 思路:找桥就行了,条件是num[v]<low[u],pre!=v; #include<iostream> #include<cstdio> #inclu ...

  8. 不借助autolt实现下载文件到指定目录

    今天尝试了下不用借助autolt完成下载文件到指定目录, 好处:在于集成回归,远程机可以绕过执行autolt程序权限问题,导致autolt程序无法调用,不能完成脚本的回归 Firefox浏览器已经成功 ...

  9. 【十大经典数据挖掘算法】k

    [十大经典数据挖掘算法]系列 C4.5 K-Means SVM Apriori EM PageRank AdaBoost kNN Naïve Bayes CART 1. 引言 k-means与kNN虽 ...

  10. &lbrack;Android Studio&rsqb; Android Studio底边栏选项不见了,如何调出来

    转载:http://blog.csdn.net/hyr83960944/article/details/38067785 Android Studio底边有一个选项栏,包含了Run,Android等等 ...