《Spark快速大数据分析》笔记之一
2. Spark下载与入门 2.2 Spark的Shell 两种类型的Shell: # Python Shell bin/pyspark # Scala Shell bin/spark-shell 使用IPython: …
NOTES & EXPLORATIONS
2. Spark下载与入门 2.2 Spark的Shell 两种类型的Shell: # Python Shell bin/pyspark # Scala Shell bin/spark-shell 使用IPython: …
基本、通用技能: 深入理解计算机系统(原书第2版) 计算机程序的构造和解释 计算的本质:深入剖析程序和计算机
1. Java代码 package com.github.manxisuo; public class TestJNI { static { System.loadLibrary("Hello"); } public …
1. 准备 1.1 下载安装包 Hadoop:2.7.1 HBase:1.1.2 Phoenix:4.4.0 Spark:1.6.1 JDK:jdk-7u1-linux-x64.tar.gz 将大数据相关安装包解压 …
一. 操作系统概述 L1. 什么是操作系统 操作系统是计算机硬件与应用之间的一层软件,它方便我们使用并高效地使用硬件。它的硬件管理功能包括: CPU管理 内存管理 终端管理 磁盘管理 文件管理 网络管理 电源管理 多核管 …
0. 硬件 共三台联想System X服务器。每台配置硬盘14个,记为0~13号,容量均为1T。其中0号和1号做成RAID 1,作为系统盘;2~13号分别做成RAID 0,作为数据盘,主要用于HDFS。
1. 线程的概念 我们知道,进程在各自独立的地址空间中运行,进程之间共享数据需要通过进程间通信(IPC)机制。有些情况下,需要在一个进程中同时执行多个控制流程,此时线程就派上用场了。
3. 线程间同步 3.1. Mutex(互斥锁) 对于多线程的程序,访问冲突的问题是很普遍的,解决的办法是引入互斥锁(Mutex,Mutual Exclusive Lock),获得锁的线程可以完成“读-修改-写”的操作, …