Apache Spark, birden çok kaynaktan gelen büyük hacimli akış verilerini işleyen açık kaynaklı bir çerçevedir. Spark, makine öğrenimi uygulamaları, veri analitiği ve grafik paralel işleme ile dağıtılmış bilgi işlemde kullanılır.
Bu kılavuz size gösterecek Windows 10’da Apache Spark nasıl kurulur? ve kurulumu test edin.
Önkoşullar
- Windows 10 çalıştıran bir sistem
- Yönetici ayrıcalıklarına sahip bir kullanıcı hesabı (yazılım yüklemek, dosya izinlerini değiştirmek ve sistem PATH’ini değiştirmek için gereklidir)
- Komut İstemi veya Powershell
- 7-Zip gibi .tar dosyalarını ayıklamak için bir araç
Apache Spark’ı Windows’a yükleyin
Apache Spark’ı Windows 10’a yüklemek acemi kullanıcılar için karmaşık görünebilir, ancak bu basit eğitim sizi hazır ve çalışır hale getirecektir. Zaten Java 8 ve Python 3 kuruluysa, ilk iki adımı atlayabilirsiniz.
1. Adım: Java 8’i kurun
Apache Spark, Java 8 gerektirir. Komut istemini kullanarak Java’nın kurulu olup olmadığını kontrol edebilirsiniz.
Tıklayarak komut satırını açın Başlangıç > yazın komut > tıklayın Komut istemi.
Komut istemine aşağıdaki komutu yazın:
java -versionJava yüklüyse, aşağıdaki çıktıyla yanıt verir:
Versiyonunuz farklı olabilir. İkinci basamak Java sürümüdür – bu durumda Java 8.
Java kurulu değilse:
1. Bir tarayıcı penceresi açın ve şuraya gidin: https://java.com/en/indir/.
2. Java’yı İndir düğmesine basın ve dosyayı istediğiniz bir konuma kaydedin.
3. İndirme bittiğinde, Java’yı yüklemek için dosyaya çift tıklayın.
Not: Bu makalenin yazıldığı sırada en son Java sürümü 1.8.0_251’dir. Daha sonraki bir sürümü yüklemek yine de işe yarayacaktır. Bu işlem yalnızca Java Runtime Environment’a (JRE) ihtiyaç duyar – tam Geliştirme Kiti’ne (JDK) gerek yoktur. JDK’ya indirme bağlantısı https://www.oracle.com/java/technologies/javase-downloads.html.
2. Adım: Python’u kurun
1. Python paket yöneticisini yüklemek için şuraya gidin: https://www.python.org/ web tarayıcınızda.
2. Fareyi İndirmek menü seçeneği ve tıklayın Python 3.8.3. 3.8.3, makalenin yazıldığı tarihteki en son sürümdür.
3. İndirme bittiğinde dosyayı çalıştırın.
4. İlk kurulum iletişim kutusunun alt kısmına yakın bir yerde işaretleyin. Python 3.8’i PATH’e ekleyin. Diğer kutuyu işaretli bırakın.
5. Ardından, tıklayın Kurulumu özelleştirin.
6. Bu adımda tüm kutuları işaretli bırakabilir veya istemediğiniz seçeneklerin işaretini kaldırabilirsiniz.
7. tıklayın Sonraki.
8. Kutuyu seçin Tüm kullanıcılar için kur ve diğer kutuları olduğu gibi bırakın.
9. Altında Kurulum yerini özelleştirin, tıklamak Araştır ve C sürücüsüne gidin. Yeni bir klasör ekleyin ve adlandırın Piton.
10. Bu klasörü seçin ve tıklayın. TAMAM.
11. Tıklayın Düzenlemekve kurulumun tamamlanmasına izin verin.
12. Kurulum tamamlandığında, Yol uzunluğu sınırını devre dışı bırak alttaki seçeneği ve ardından tıklayın Kapalı.
13. Açık bir komut isteminiz varsa yeniden başlatın. Python sürümünü kontrol ederek kurulumu doğrulayın:
python --versionÇıktı yazdırılmalıdır Python 3.8.3.
Not: Python 3’ü Windows’a nasıl yükleyeceğiniz veya olası sorunları nasıl gidereceğinizle ilgili ayrıntılı talimatlar için Python 3’ü Windows’a Kurma kılavuzumuza bakın.
Adım 3: Apache Spark’ı İndirin
1. Bir tarayıcı açın ve şuraya gidin: https://spark.apache.org/downloads.html.
2. Altında Apache Spark’ı indirin başlığı altında iki açılır menü vardır. Geçerli önizlemesiz sürümü kullanın.
- Bizim durumumuzda, içinde Bir Spark sürümü seçin açılır menü seçimi 2.4.5 (5 Şubat 2020).
- İkinci açılır menüde Bir paket türü seçin, seçimi bırak Apache Hadoop 2.7 için önceden oluşturulmuş.
3. kıvılcım-2.4.5-bin-hadoop2.7.tgz bağlantı.
4. Karşıdan yüklenecek farklı sunucuları görebileceğiniz aynaların listesini içeren bir sayfa yüklenir. Listeden herhangi birini seçin ve dosyayı İndirilenler klasörünüze kaydedin.
4. Adım: Spark Yazılım Dosyasını Doğrulayın
1. Dosyanın sağlama toplamını kontrol ederek indirmenizin bütünlüğünü doğrulayın. Bu, değiştirilmemiş, bozulmamış bir yazılımla çalışmanızı sağlar.
2. Şuraya geri gidin: Kıvılcım İndir sayfasını açın ve sağlama toplamı bağlantı, tercihen yeni bir sekmede.
3. Ardından, bir komut satırı açın ve aşağıdaki komutu girin:
certutil -hashfile c:\users\username\Downloads\spark-2.4.5-bin-hadoop2.7.tgz SHA5124. Kullanıcı adını kullanıcı adınızla değiştirin. Sistem, mesajla birlikte uzun bir alfasayısal kod görüntüler. Certutil: -hashfile completed successfully.
5. Kodu, yeni bir tarayıcı sekmesinde açtığınız kodla karşılaştırın. Eşleşirlerse, indirme dosyanız bozulmamıştır.
Adım 5: Apache Spark’ı Kurun
Apache Spark’ı yüklemek şunları içerir: indirilen dosyayı çıkartma istediğiniz konuma
1. adlı yeni bir klasör oluşturun. Kıvılcım C: sürücünüzün kökünde. Bir komut satırından aşağıdakileri girin:
cd \
mkdir Spark2. Explorer’da indirdiğiniz Spark dosyasını bulun.
3. Dosyaya sağ tıklayın ve şuraya çıkarın: C:\Kıvılcım sisteminizde bulunan aracı kullanarak (örn. 7-Zip).
4. Şimdi, sizin C:\Kıvılcım klasörün yeni bir klasörü var kıvılcım-2.4.5-bin-hadoop2.7 içindeki gerekli dosyalar ile.
Adım 6: winutils.exe Dosyasını Ekleyin
İndir winutils.exe indirdiğiniz Spark yüklemesi için temeldeki Hadoop sürümü için dosya.
1. Bu URL’ye gidin https://github.com/cdarlint/winutils ve içinde çöp Kutusu klasör, bulun winutils.exeve tıklayın.
2. Bulun İndirmek Dosyayı indirmek için sağ taraftaki düğme.
3. Şimdi yeni klasörler oluşturun Hadoop Ve çöp Kutusu C’de: Windows Gezgini veya Komut İstemi kullanılarak.
4. Winutils.exe dosyasını İndirilenler klasöründen şuraya kopyalayın: C:\hadoop\bin.
7. Adım: Ortam Değişkenlerini Yapılandırın
Windows’ta ortam değişkenlerini yapılandırmak, Spark ve Hadoop konumlarını sistem PATH’inize ekler. Spark kabuğunu doğrudan bir komut istemi penceresinden çalıştırmanıza izin verir.
1. tıklayın Başlangıç ve yazın çevre.
2. etiketli sonucu seçin Sistem ortamı değişkenlerini düzenleyin.
3. Bir Sistem Özellikleri iletişim kutusu görünür. Sağ alt köşede Ortam Değişkenleri ve ardından tıklayın Yeni sonraki pencerede.
4. için Değişken ismi tip SPARK_HOME.
5. için Değişken Değer tip C:\Spark\spark-2.4.5-bin-hadoop2.7 ve Tamam’ı tıklayın. Klasör yolunu değiştirdiyseniz, bunun yerine onu kullanın.
6. Üstteki kutuda Yol girin, ardından tıklayın Düzenlemek. Sistem yolunu düzenlerken dikkatli olun. Halihazırda listede bulunan girişleri silmekten kaçının.
7. Solda girişlerin olduğu bir kutu görmelisiniz. Sağda, tıklayın Yeni.
8. Sistem yeni bir satırı vurgular. Spark klasörünün yolunu girin C:\Spark\spark-2.4.5-bin-hadoop2.7\bin. kullanmanızı öneririz %SPARK_HOME%\bin Yolla ilgili olası sorunlardan kaçınmak için.
9. Hadoop ve Java için bu işlemi tekrarlayın.
- Hadoop için değişken adı: HADOOP_HOME ve değer için daha önce oluşturduğunuz klasörün yolunu kullanın: C:\hadoop. Eklemek C:\hadoop\bin için Yol değişkeni alanı, ancak kullanmanızı öneririz %HADOOP_HOME%\bin.
- Java için değişken adı Java_HOME ve değer için Java JDK dizininize giden yolu kullanın (bizim durumumuzda C:\Program Dosyaları\Java\jdk1.8.0_251).
10. Tıklayın TAMAM tüm açık pencereleri kapatmak için.
Not: Değişiklikleri uygulamak için Komut İstemi’ni yeniden başlatarak yıldız ekleyin. Bu işe yaramazsa, sistemi yeniden başlatmanız gerekecektir.
Adım 8: Spark’ı Başlatın
1. Sağ tıklamayı kullanarak yeni bir komut istemi penceresi açın ve Yönetici olarak çalıştır:
2. Spark’ı başlatmak için şunu girin:
C:\Spark\spark-2.4.5-bin-hadoop2.7\bin\spark-shellayarlarsanız çevre yolu doğru yazabilirsiniz spark-shell Spark’ı başlatmak için.
3. Sistem, uygulamanın durumunu gösteren birkaç satır göstermelidir. Bir Java açılır penceresi alabilirsiniz. Seçme Erişime izin vermek devam etmek.
Son olarak, Spark logosu görünür ve bilgi isteminde Scala kabuğu.
4., Bir web tarayıcısı açın ve şuraya gidin: http://localhost:4040/.
5. Değiştirebilirsiniz yerel ana bilgisayar sisteminizin adı ile.
6. Bir Apache Spark kabuğu Web Kullanıcı Arayüzü görmelisiniz. Aşağıdaki örnek, uygulayıcılar sayfa.
7. Spark’tan çıkmak ve Scala kabuğunu kapatmak için tuşuna basın. ctrl-d komut istemi penceresinde.
Not: Python’u yüklediyseniz, Python’u kullanarak Spark’ı şu komutla çalıştırabilirsiniz:
pysparkQuit() kullanarak çıkın.
Kıvılcım Testi
Bu örnekte, Spark kabuğunu başlatacağız ve bir dosyanın içeriğini okumak için Scala’yı kullanacağız. gibi mevcut bir dosyayı kullanabilirsiniz. BENİ OKU Spark dizinindeki dosya veya kendinizinkini oluşturabilirsiniz. Biz yarattık en iyi biraz metinle.
1. Bir komut istemi penceresi açın ve kullanmak istediğiniz dosyanın bulunduğu klasöre gidin ve Spark kabuğunu başlatın.
2. İlk olarak, dosyanın adıyla Spark bağlamında kullanılacak bir değişken belirtin. Varsa dosya uzantısını eklemeyi unutmayın.
val x =sc.textFile("pnaptest")3. Çıktı, bir RDD’nin oluşturulduğunu gösterir. Ardından, bir eylemi çağırmak için bu komutu kullanarak dosya içeriğini görüntüleyebiliriz:
x.take(11).foreach(println)
Bu komut, Spark’a belirttiğiniz dosyadan 11 satır yazdırması talimatını verir. Bu dosya üzerinde bir işlem gerçekleştirmek için (değer x), başka bir değer ekleyin yve bir harita dönüşümü yapın.
4. Örneğin şu komutla karakterleri tersten yazdırabilirsiniz:
val y = x.map(_.reverse)5. Sistem, ilk RDD ile ilişkili olarak bir alt RDD oluşturur. Ardından, değerden kaç satır yazdırmak istediğinizi belirtin. y:
y.take(11).foreach(println)
Çıktı, 11 satır yazdırır. en iyi dosya ters sırada.
Bittiğinde, kullanarak kabuktan çıkın ctrl-d.
Çözüm
Artık Windows 10’da çalışan bir Apache Spark kurulumuna sahip olmalısınız ve tüm bağımlılıklar kurulu olmalıdır. Windows ortamınızda bir Spark örneğini çalıştırmaya başlayın.
Önerimiz ayrıca Spark DataFrame’in ne olduğu, özellikleri ve veri toplarken Spark DataFrame’in nasıl kullanılacağı hakkında daha fazla bilgi edinmenizdir.