寻道,思考人生的价值(观小米十周年演讲有感)

这几天,各种朋友圈被小米十周年的演讲刷屏,我感触颇多,有些内容像是一语惊醒梦中人,使得一直思考人生价值的我,有种像是茅塞顿开的感觉。

成功是否等于价值?

很多人喜欢说成功两个字,而现在大多数人所谓的成功似乎都是以暂时看得到的权力、财富和地位来评判。
然而,现有的权力、财富和地位,是否就能证明成功呢?或许是吧。
但是,这种所谓的成功是否就能等价于他的价值呢?我认为一定不是的!

继续阅读全文 »

redis、hadoop和hbase等安装相关拓展知识补充

从某种意义上来说,一项技术要学会不难,要学好就很难。
会,代表的是能用起来就可以了,照葫芦画瓢而已;好,就涉及到各种细节,一些重要的、频率高的操作,可能还需要知道部分原理。
就拿软件安装来说,linux中大部分软件的主要安装流程是大同小异的,仅是这种大同,也有许多的细节,以下便是我在redis、hadoop、hbase等安装过程中遇到的其中一部分,仅是一部分。

继续阅读全文 »

hadoop和hbase的关系及hbase安装与验证

从hadoop官网首页就可以看到,hadoop项目本身自带的模块现在有五个,即:

hadoop common
hdfs
yarn
mapReduce
hadoop Ozone

第一项从名称就可以看出来是基础功能模块,hdfs是文件存储系统,yarn是调度和集群管理,mapReduce是数据计算处理,这几个都是学习使用hadoop一开始就必然会接触的。
最后一个hadoop Ozone是分布式对象存储系统,这个是对hdfs的一种补充,是一个相对较新的内容,在人们口中出现的频率相对较低,可能很多人一开始都不知道,包括我。

继续阅读全文 »

hdfs基础操作(命令行和java代码)

hadoop分布式模式初步搭建完成,无论是从命令行还是web界面都看起来是可用的,然后便可以进入下一步,可以说是进一步的验证,也可以说是hdfs相关的学习。
hdfs是分布式文件存储系统,可以进行文件的增删改查操作,原生支持的就有基本的命令行,然后就是各种语言的客户端。
这一部分,主要是记录和练习基本的操作,也当是进一步验证之前环境安装的是否可用。

继续阅读全文 »

hadoop分布式安装及配置初步解析(坑坑不息)

linux中hadoop的安装教程,网上也有不少了,例如我自己搭建过程中参考的这几篇:
https://blog.csdn.net/weixin_44198965/article/details/89603788
https://blog.csdn.net/qq_25615395/article/details/89083580
https://juejin.im/post/6856984821059895303/

然而教程是不少,但或许是环境不一样,也或者思路不一样,所以参考实现的过程中总会发现这样那样的一些问题。
当然了,这些问题产生的原因很可能是每个人技术栈不一样,别人以为你应该知道的,实际你不知道,也就导致有些没说的细节就成了自己动手时的拦路虎。
所以,结合上边的几篇教程,再结合自己实际操作,我觉得还是可以记录一下的,万一刚好有看的人容易接受我的描述思路呢,那么这篇文章便有了更多的意义。

继续阅读全文 »

hadoop安装环境准备和关联知识解析

本想一口气把redis多学一点,奈何还有常见的如穿透、雪崩、击穿、分布式锁、redis并发原理、linux多路复用、redis集群等都还没梳理清楚,而项目就需要先学习一下hadoop等大数据相关技术,于是不得不暂停redis,转而进入hadoop系列的摸石头过河。

据我了解,一般正式环境的hadoop使用都是需要zookeeper的,但是使用hadoop是否一定要zookeeper这个事,对于刚开始学习hadoop的我来说,还是一个未知数。尤其是网上有的教程写了zookeeper,有的又没写,也就更加的茫然。
茫然不可怕,怕的是一直茫然,而解决茫然最好的办法就是行动起来,只要动起来就会有结果,然后便能自然而然的触发下一步,进而一点一点的从茫然中走出来。
那么第一步自然是先想办法把环境搭起来,根据已知的内容一步步摸索,如果抛开zookeeper不谈,能确定的是jdk和hadoop本身是一定不可或缺的。

继续阅读全文 »