??

???? ??? ?? ????? ??? ???? ???? ???? ??? ????, ??? ? ?? ??? ?????. ? ??? ??? ??? ??? ???? ??? ???? ???? ? ?? ????????. ?? ??? ?? ?? ? Apache Spark ? Jupyter Notebook? ?? Linux ???? ?? ? ? ??? ?? ????? ??????. ? ??? ??? ??? ??? ??? ???? Apache Spark ? Jupyter? ???? Linux?? ? ??? ??? ???? ???? ?????. ?? ??

? ??? ??

? ???? ?? ??? ?? ??? ?????? ?? ??? ?? ????? ?? ?? ???? ??? ??? ?????. ??? 4 ?? v :

??? ?? (??) : ?? ???, ?? ? ?? ???? ?? ??? ???? ?? ?? ? ???? ?? ??. ?? (Velocity)

: ??? ???? ???? ?? ???? ??.

??? (??) : ???, ? ??? ? ????? ?? ???? ??? ??? ??? ???.

??? (???)
1. : ??? ???? ???? ???? ???? ???? ???? ???? ?????. ? ??? ??? ??, ??, ??? ? ??? ?? ???? ??? ????? ??? ???? ?? ?? ??? ???? ??? ?? ? ? ??????.
??? ??? ??
2. ??? ??? ??? ??, ????, ???? ? ???? ???? ????? ?? ????? ??? ???? ???? ?? ? ?????. ??? ??? ?? ?? ??? ??? ???? ??? ?? (??? ??)
: ??? ???? ???? ?????.
3. ??? ?? (??? ??) : ?? ??? ???? ?? ???? ???? ?????.
??? ?? : ???? ???? ?? ?? ? ?? ?? ??? ??????.
4. ??? ??? : ???? ????? ???? ?? ??? ??? ????. ??? ?????? ???? ?? ?? ??, ????? ??, ?? ? ?? ??? ???? ????? ???? ???? ?????.

??? ??? ?? Linux? ???? ??

?? ?? ??, ?? ??? ? ????? ?? Linux? ?? ??? ????? ???? ?? ?????. ??? ? ?? ?? ????? :

?? ?? : Linux? ??? ???? ???? ??? ???? ??? ??? ?? ? ? ????.
• ??? ? ?? : Linux? ???? ???? ???? ???? ??? ??? ??? ????? ???? ?????. Security (Security) : Linux? ?? ??? ???? ??? ???? ????? ??? ??? ?????.
• ???? ?? (Community Support) : ?? ? Linux ????? ??? ?? ????? ??? ???, ?? ? ??? ?????.
Apache Spark : ? ??? ????? ??? ??
• Apache Spark ?? Apache Spark? ? ??? ??? ?? ??? ?? ?? ?? ?? ?????. Hadoop Mapreduce? ??? ?????? ??? ???? ??? ?? ??? ???? ?? ???????. ???? ?? ??? ??? ????
?? (??)
• : ??? ??? ?? Spark? Hadoop Mapreduce?? 100 ? ??? ??? ? ????. ?? ???
??? : Spark? ?? ??, ??? ??, ?? ?? ? ??? ??? ??? ??? ??? ?? ??? ?????.

Spark? ?? ?? ?? - Spark Core ? RDD (?? ?? ??? ??) : Spark 's Foundation, ?? ??? ?? ? ?? ??? ?? ?? ??? ?????.

Spark SQL : SQL ?? DataFrame API? ???? ??? ? ???? ?? ? ? ??????. ??? ????

: ??? ??? ??? ?????.

mllib
• : ?? ?? ???? ?????. ??? : ??? ?? ? ??? ?????.
• Linux?? Apache Spark? ?? ??? ?? ?? ? ?? ?? Spark? ???? ?? ???? ?? ?? ??? ????? ??????.
  ?? ?? (?? ??) : Linux (?? ??) java
  • : JDK 8 ?? Scala : ?? ????? Advanced Spark ??? ?????. python : ?? ????? PySpark? ?????. ?? ?? ???
  Java? ??
  • : Spark? ?????? ?????? wget http://m.miracleart.cn/link/94f338fe2f7f9a84751deeefae6bcba2
  ?? XVF Spark-3.1.2-Bin-Hadoop3.2.tgz Sudo MV Spark-3.1.2-Bin-Hadoop3.2 /Opt /Spark
  • ?? ?? ??? ?? :

  ??? ?????? :

  ?? ? ?? ??
  ??? ??, ?? ?? ? ?? ??? ?? ??? ???? ?? ??? ???? Spark? ??????.
  1. Jupyter : ??? ??? ?? ?? Jupyter Notebook ?? sudo apt-get update sudo apt-get install default-jdk Jupyter Notebook? ??? ??, ???, ??? ? ???? ???? ?? ? ??? ???? ?? ? ??? ?? ?? ? ?? ???????. Python, R ? Julia? ??? ??? ????? ??? ?????.
  ??? ??? Jupyter? ???? ??
  2. ??? ??? : ???? ?????? ?? ???? ????. ?? ??? : ??? ?? ? ?? ????? ??? ? ?????.

     <code></code>

     ?? (??)
  : ?? ?? ??? ?? ???? ???? ?????.
  3. ?? ??? ?? : ??? ????? ??? ?????. echo "export SPARK_HOME=/opt/spark" >> ~/.bashrc echo "export PATH=$SPARK_HOME/bin:$PATH" >> ~/.bashrc source ~/.bashrc
  Linux?? Jupyter? ?? ??? ?? ?? ? ?? ?? ???? ???? ???? ??? ??????. ?? ???? ??????. spark-shell ?? ?? ???
??? ? PIP ?? : Jupyter? ?? :

?? Jupyter Notebook conf/spark-defaults.conf :``` Jupyter Notebook

?? ? ?? ?? ?? ??, ??? ???? ? ?? ??? ?? ??? ???? ??

??? ???? Jupyter? ??????.

? ??? ??? ?? Apache Spark ? Jupyter? ?? Jupyter?? Spark? ??? ????? Spark? Jupyter? ?? Spark? ????? ?? ??? ?????. ??? ????? ??

PySpark? ?? :

1. findspark ?? :

pip3 install pyspark ???? ?? ????? Jupyter? ?????? ? Jupyter ???? ??? Spark? ???? ?? ?? ??? ??????.
• ??? ?? ? ???? ??? ?????? ??? ????? ??? ??? ??? ??????. pip3 install findspark ?? ??? ??? ? ?? ? ??? ??? ?? ? ???? ????? ??? ?? ??? ?? ? ???? ??? ??? ?? Kaggle? ????? ???? ??? ??? ?????.

  ??? ? ??? ??? ?? ? ??? ?? ??? :

  ??? ?? :

  <code></code>

  Jupyter? ??? ??? ?? ? ??? ?? ?? :

  ???

  :

  <code></code>

  ?? ?? ? ??? ?? ?? ??? ??? ?? ??? ?? ??? ?? ???? ?????? ??? ? ?? ??? ?????. ?? ?? ? ?? ?? Spark? ?? ??? - ???? ??? ?? : ? ?? ??? ?? DataFrame ? DataSet API? ??????.

  ??? ?? : ??? ? CPU ???? ????? ??????.

  ?? ?? : ????? ?? ??? ??? ?????.

  jupyter - jupyterhub ? ?? ?? ??? ?? : Jupyterhub? ???? ? ?? ??? ?????? ?? ??? ??? ????. df = spark.read.csv("titanic.csv", header=True, inferSchema=True)
??? ??
• : ?? ??? ?? github ?? nbviewer? ?? ???? ?????. ?? ?? ?? df = df.dropna(subset=["Age", "Embarked"]) -
Data Security (??? ??) : ??? ???? ???? ?? ??? ? ??? ???? ?????.

??? ?? ?? (Linux ?? ??) : ???, ??? ? ???? ? ?? ??? ???? Linux ??? ??????.

??? ?? ? ????
-
1. ?? ??? ? ?? : df.describe().show()
??? ?? ?? : ?? Jupyter Notebook

import findspark
findspark.init("/opt/spark")
from pyspark.sql import SparkSession
spark = SparkSession.builder \
    .appName("Jupyter and Spark") \
    .getOrCreate()

:

?? ? ????? Linux ????? Apache Spark? Jupyter? ??? ? ??? ??? ??? ??? ?????. Spark? ??? ???? Jupyter? ??? ??? ???? ??? ???? ??? ??? ??? ????? ???? ?? ? ? ????. ??? ??, ?? ? ?? ??? ??? ??? ??? ?? ?? ??? ?? ???? ?? ??? ???? ?? ?? ?? ??? ??? ? ????.

? ??? ? ???? ? ?? : Apache Spark ? Jupyter? ???? Linux ??? ?? ??? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!