网上关于挂载HDFS到本地的介绍大多基于较早版本的Hadoop。 本文以Hadoop-2.8.0为例,介绍通过Fuse挂载HDFS到本地的方法。
Linux NFS配置及使用方法
NFS是Network File System(网络文件系统)。主要功能是通过网络让不同的服务器之间可以共享文件或者目录。
本文以CentOS系统为例介绍Linux下NFS的配置和使用方法。
NFS在文件传送过程中依赖与RPC(远程过程调用)协议,配置步骤介绍如下。
Docker常用命令介绍
本文介绍常用的docker命令。
使用InteliJ远程调试程序
本文介绍如何使用InteliJ远程调试Java/Scala程序。
Mac安装Thrift方法
新版mac使用brew默认安装的是最新版本的thrift 0.10.1
但现有项目主要依赖0.9.x,因此需要在mac上手动安装thrift。
本文介绍如何在新版本Mac上安装thrift 0.9.3.
ZooKeeper安装使用指南
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。
作为分布式应用提供一致性服务的软件,ZooKeeper 封装了易错的关键服务,提供简单高效、功能稳定接口给用户
本文介绍 ZooKeeper 的配置方法和客户端使用方法。
Spark Core 消息队列机制
本文介绍Spark中的消息队列机制,首先SparkListenerEvent,SparkListener和SparkListenerBus等基本数据结构实现。
重点介绍了异步消息总线LiveListenerBus的实现。随后介绍了Spark消息队列的整体工作流程。
Spark日志配置方法
本文介绍Spark日志级别控制方法。
Apache Spark 默认使用 log4j 作为日志工具。 Baidu Spark 根据不同的发布版本,使用 log4j 或者 logback 作为日志工具。
JavaScript实现博文目录自动生成
自建的博客站点,常常需要博文目录自动生成的功能,本文介绍一种JavaScript实现的解决方案。
Spark HistoryServer 配置和使用方法
本文介绍Spark History Server的配置和使用方法。