pysparkで読み込んだカラムの値が日時型ではなく、文字列だった場合に日時型に変更する方法を記載する。
日時型に変更するにはpyspark.sql.functionsのto_timestampを使用する。
使用例：
from pyspark.sql.functions import to_timestamp
df = ... # 変換したい文字列カラムを持つDataFrame
df_converted = df.withColumn('datetime_column', to_timestamp('string_column', 'yyyyMMdd HH:mm'))
入会申込
ログイン
