上一篇,在centos7中搭建好了docker,并尝试了基础的image镜像和container容器的命令操作。
这一篇就尝试自己在docker容器中启动并使用springboot服务,基本步骤就是准备jar、配置Docker、构建image、启动container、测试服务功能。
centos7安装docker及docker基础操作
之前使用腾讯TSF时,接触了一点docker相关的内容,但只是用了一点点,由于各种原因而没有好好了解,但是这件事始终都在心里搁着,现在总算可以正式来了解一下了。
寻道,思考人生的价值(观小米十周年演讲有感)
redis、hadoop和hbase等安装相关拓展知识补充
从某种意义上来说,一项技术要学会不难,要学好就很难。
会,代表的是能用起来就可以了,照葫芦画瓢而已;好,就涉及到各种细节,一些重要的、频率高的操作,可能还需要知道部分原理。
就拿软件安装来说,linux中大部分软件的主要安装流程是大同小异的,仅是这种大同,也有许多的细节,以下便是我在redis、hadoop、hbase等安装过程中遇到的其中一部分,仅是一部分。
hadoop和hbase的关系及hbase安装与验证
从hadoop官网首页就可以看到,hadoop项目本身自带的模块现在有五个,即:
hadoop common
hdfs
yarn
mapReduce
hadoop Ozone
第一项从名称就可以看出来是基础功能模块,hdfs是文件存储系统,yarn是调度和集群管理,mapReduce是数据计算处理,这几个都是学习使用hadoop一开始就必然会接触的。
最后一个hadoop Ozone是分布式对象存储系统,这个是对hdfs的一种补充,是一个相对较新的内容,在人们口中出现的频率相对较低,可能很多人一开始都不知道,包括我。
hdfs基础操作(命令行和java代码)
hadoop分布式模式初步搭建完成,无论是从命令行还是web界面都看起来是可用的,然后便可以进入下一步,可以说是进一步的验证,也可以说是hdfs相关的学习。
hdfs是分布式文件存储系统,可以进行文件的增删改查操作,原生支持的就有基本的命令行,然后就是各种语言的客户端。
这一部分,主要是记录和练习基本的操作,也当是进一步验证之前环境安装的是否可用。
hadoop分布式安装及配置初步解析(坑坑不息)
linux中hadoop的安装教程,网上也有不少了,例如我自己搭建过程中参考的这几篇:
https://blog.csdn.net/weixin_44198965/article/details/89603788
https://blog.csdn.net/qq_25615395/article/details/89083580
https://juejin.im/post/6856984821059895303/
然而教程是不少,但或许是环境不一样,也或者思路不一样,所以参考实现的过程中总会发现这样那样的一些问题。
当然了,这些问题产生的原因很可能是每个人技术栈不一样,别人以为你应该知道的,实际你不知道,也就导致有些没说的细节就成了自己动手时的拦路虎。
所以,结合上边的几篇教程,再结合自己实际操作,我觉得还是可以记录一下的,万一刚好有看的人容易接受我的描述思路呢,那么这篇文章便有了更多的意义。
hadoop安装环境准备和关联知识解析
本想一口气把redis多学一点,奈何还有常见的如穿透、雪崩、击穿、分布式锁、redis并发原理、linux多路复用、redis集群等都还没梳理清楚,而项目就需要先学习一下hadoop等大数据相关技术,于是不得不暂停redis,转而进入hadoop系列的摸石头过河。
据我了解,一般正式环境的hadoop使用都是需要zookeeper的,但是使用hadoop是否一定要zookeeper这个事,对于刚开始学习hadoop的我来说,还是一个未知数。尤其是网上有的教程写了zookeeper,有的又没写,也就更加的茫然。
茫然不可怕,怕的是一直茫然,而解决茫然最好的办法就是行动起来,只要动起来就会有结果,然后便能自然而然的触发下一步,进而一点一点的从茫然中走出来。
那么第一步自然是先想办法把环境搭起来,根据已知的内容一步步摸索,如果抛开zookeeper不谈,能确定的是jdk和hadoop本身是一定不可或缺的。