Utilizando o google colab para instalar o Spark e ler um arquivo csv
Digite no google: google colab para criar um ambiente de desenvolvimento online (computação inteirativa) e que não irá utilizar recursos da sua máquina.
Clique em Arquivo, novo notebook
Instalação do ambiente do Pyspark no nosos ambiente google colab.
%%bash # Instalação Java apt-get update && apt-get install open jdk-8-jdk-headless -qq > /dev/null # Intalação do PySpark pip install -q PySpark
Após digitar pressiono o SHIFT + enter para executar o comando
Utilizamos o %%bash na primeira linha da célula, para informar que é um comando de terminal.
# Definir uma variável de ambiente para o Spark conseguir identificar o local do JAVA adequadamente import os os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
%%bash # Download dos dados utilizados. Vou criar um diretorio mkdir titanic curl https://raw.githubusercontent.com/neylsoncrepalde/titanic_data_with_semicolon/blob/main/titanic.csv -o titanic/titanic.csv
# Importar os módulos necessários
from pyspark.sql import SparkSession
from pyspark.sql import functions as f
Neste exemplo utilizamos o "inferSchema" por se tratar de poucos dados.
titanic.show() para visualizar os dados.
