14周事情总结-机器人-大数据hadoop

时间:2021-04-13 00:53:23

  14周随着考试的进行,其他该准备的事情也在并行的处理着,考试内容这里不赘述了

  首先说下,关于机器人大赛的事情,受益颇多,机器人的制作需要机械和电控两方面

  昨天参与舵机的测试,遇到的问题:舵机不动

  排查顺序:1.程序(不过程序比较简单)不是这上面的问题

       2.检查电路问题(电路设计,线比较脆弱,焊接的也不是很好,最主要不知道板子的完整性)

       3.加了块电源可以动舵机了,但之后实验出现莫名的问题

       4.最终解决办法:改变线,将舵机的线又连接杜邦线(12)

  ------------------------------------------------------------------------------------------------------------  

  接着说下大数据hadoop(在墓课上看的视频)

  大数据平台搭建 看教程前要统筹兼顾,分析不同教程

  慕克网 hadoop基础课程

  1.获取linux环境 1)vware 2)租用云主机 阿里云 UnitedStack 租用后利用putty链接
  2.安装jdk 下载安装jdk 设置环境变量 java_home jre_home classpath path 然后生效source (echo 观察java_home)
  3.配置hadoop wget 配置conf
  jps查看谁在运行

  谷歌大数据技术 (分布式存储) 利用pc机
  1.MapReduce 分布式计算
  2.BigTab
  3.GFS
  谷歌不开源->模仿谷歌大数据:hadoop(开源的分布式存储和计算)PB级
  优势:高扩展,低成本,廉价pc机堆叠,hadoop生态圈(hive-sql,hbase,zookeeper)
  version 1.2稳定

  1 HDFS 文件系统 存储海量数据
  1.1 NameNode管理节点 DataNode数据节点 数据块放置(block)
  1.2 数据副本 心跳检测
  2 mapreduce 框架(并行)分解任务和调度
  2.1 原理 map(大任务-小任务),reduce(并行执行后,合并结果)
  例子(100GB的网页,找出使用最多的ip)1.日志切分2.统计IP出现次数3.中间结果合并4.排序
  2.2 Job task JobTracker(1.作业调度2.分配监控Job3.监控TaskTracker) TaskTracker(执行任务,汇报任务状态)

  待补充

  -------------------------------------------------------------------------------------------------------------------------

  接下来目标:课程设计提前做完,准备签证材料(英语+材料),体检

14周事情总结-机器人-大数据hadoop的更多相关文章

  1. 成都大数据Hadoop与Spark技术培训班

    成都大数据Hadoop与Spark技术培训班   中国信息化培训中心特推出了大数据技术架构及应用实战课程培训班,通过专业的大数据Hadoop与Spark技术架构体系与业界真实案例来全面提升大数据工程师 ...

  2. [转帖]大数据hadoop与spark的区别

    大数据hadoop与spark的区别 https://www.cnblogs.com/adnb34g/p/9233906.html Posted on 2018-06-27 14:43 左手中倒影 阅 ...

  3. 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十一讲Hadoop图文训练课程:MapReduce的原理机制和流程图剖析

    这一讲我们主要剖析MapReduce的原理机制和流程. “云计算分布式大数据Hadoop实战高手之路”之完整发布目录 云计算分布式大数据实战技术Hadoop交流群:312494188,每天都会在群中发 ...

  4. 云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程:通过HDFS的心跳来测试replication具体的工作机制和流程

    这一讲主要深入使用HDFS命令行工具操作Hadoop分布式集群,主要是通过实验的配置hdfs-site.xml文件的心跳来测试replication具体的工作和流程. 通过HDFS的心跳来测试repl ...

  5. 云计算分布式大数据Hadoop实战高手之路第八讲Hadoop图文训练课程:Hadoop文件系统的操作实战

    本讲通过实验的方式讲解Hadoop文件系统的操作. “云计算分布式大数据Hadoop实战高手之路”之完整发布目录 云计算分布式大数据实战技术Hadoop交流群:312494188,每天都会在群中发布云 ...

  6. 大数据Hadoop学习之搭建hadoop平台(2.2)

    关于大数据,一看就懂,一懂就懵. 一.概述 本文介绍如何搭建hadoop分布式集群环境,前面文章已经介绍了如何搭建hadoop单机环境和伪分布式环境,如需要,请参看:大数据Hadoop学习之搭建had ...

  7. 大数据hadoop面试题2018年最新版(美团)

    还在用着以前的大数据Hadoop面试题去美团面试吗?互联网发展迅速的今天,如果不及时更新自己的技术库那如何才能在众多的竞争者中脱颖而出呢? 奉行着"吃喝玩乐全都有"和"美 ...

  8. 搭建大数据hadoop完全分布式环境遇到的坑

    搭建大数据hadoop完全分布式环境,遇到很多问题,这里记录一部分,以备以后查看. 1.在安装配置完hadoop以后,需要格式化namenode,输入指令:hadoop namenode -forma ...

  9. 我搭建大数据Hadoop完全分布式环境遇到的坑---hadoop: command not found

    搭建大数据hadoop环境,遇到很多问题,这里记录一部分,以备以后查看. [遇到问题].在安装配置完hadoop以后,需要格式化namenode,输入指令:hadoop namenode -forma ...

随机推荐

  1. js中masonry与infinitescroll结合 形成瀑布流

    后台:(有点问题 page应该从1开始 而不是从0开始)     public function actionExperts()    {        $top=5;        $page=em ...

  2. Javascript中的五种数据类型

    Undefined 未定义.只有一个值undefined Null         只有一个值,null Boolean 在javascript中,只要逻辑表达式不返回undefined不返回null ...

  3. production stage

    MP:mass production 批量生产 DV design verification 设计验证 EV engineering verification 工程样品验证 PV process ve ...

  4. hadoop笔记之Hive的数据存储(外部表)

    Hive的数据存储(外部表) Hive的数据存储(外部表) 外部表 指向已经在HDFS中存在的数据,可以创建Partition 它和内部表在元数据的组织上是相同的,而实际数据的存储则有较大的差异 外部 ...

  5. EJB系列 - 会话Bean基础知识

    本人博客文章网址:https://www.peretang.com/basic-knowledge-of-session-bean/ 什么是会话 有限的时间周期内,客户端和服务器之间的连接 为什么使用 ...

  6. 【java集合框架源码剖析系列】java源码剖析之HashMap

    前言:之所以打算写java集合框架源码剖析系列博客是因为自己反思了一下阿里内推一面的失败(估计没过,因为写此博客已距阿里巴巴一面一个星期),当时面试完之后感觉自己回答的挺好的,而且据面试官最后说的这几 ...

  7. windows上安装gcc/g++环境(MinGW,msys64等)

    1 前言 经过折腾安装gcc环境,记录一下 2 工具  MinGW安装器: 下载地址1:MinGW官网 下载地址2:SourceForge (MinGW w64) 下载地址3:win-builds-1 ...

  8. GO语言学习笔记之Linux环境下安装GO语言

    0x00 安装环境和GO版本 本篇是源码安装,非使用包管理工具安装. # Centos 7.4 # GO v1.11.2 0x01 下载GO安装包 # wget https://dl.google.c ...

  9. iOS正則表達式(一)

    什么是正則表達式? 正則表達式是对字符串操作的一种逻辑公式. 作用? 在iOS开发中我们通常使用正則表達式来匹配给定的字符串是否符合我们的业务逻辑,比方说用户注冊帐号仅仅能是手机号或者邮箱等.我们还能 ...

  10. node.js 与java 的主要的区别是什么

    node.js 与java都是服务器语言,但是两者存在很大区别:(1)Node.js比Java更快 :node.js开发快,运行的效率也算比较高,但是如果项目大了就容易乱,而且javascript不是 ...