SparkSession作成時のエラー解決方法 | 全国個人事業主支援協会

COLUMN コラム

SparkSession作成時のエラー解決方法

2025年01月05日
SparkSession作成時のエラー解決方法
- 未分類

前回記載した、pysparkの環境構築時に実行する以下のコマンドでエラーが出るようになったので解決方法を備忘録として記載する。

spark = SparkSession.builder \
.master(“local[1]”) \
.appName(“knock”) \
.getOrCreate()

エラー内容

Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: java.lang.UnsupportedOperationException: getSubject is supported only if a security manager is allowed...略

どうやらセキュリティ系のエラーで設定変更が必要らしい。

解決方法

SparkSessionの作成時に以下のように設定を追加する

SparkSession.builder \ .master("local[1]") \ .appName("knok") \ .config("spark.driver.extraJavaOptions", "-Djava.security.manager=allow") \ # 追加部分 .config("spark.executor.extraJavaOptions", "-Djava.security.manager=allow") \ # 追加部分 .getOrCreate()