pythonを使っているとpysparkとpandasで処理上便利な方に変換して処理することが度々あるので備忘録として残しておく。

pandas→pyspark

pandasをpysparkに変換するには以下の方法で実施する。

pdf = df.toPandas()

pyspark→pandas

pysparkをpandasに変換するには以下の方法で実施する。

df = spark.createDataFrame()pdf

ただし、pandasのindex情報が失われる

indexを保持するには以下のようにreset_indexのオプションを指定する

df = pdf.reset_index(drop=False)

The following two tabs change content below.

• この記事を書いた人
• 最新の記事

Kyota

最新記事 by Kyota (全て見る)

• pyspark、pandasの相互変換 - 2025年5月10日
• SparkSession作成時のエラー解決方法 - 2025年1月5日
• JupyterLab上でのpyspark環境構築方法 - 2024年10月4日