PostgreSQL の問題、Docker 上の Jupyter Notebook で PySpark に接続しようとしています

php エディター Youzi は最近、Docker 上で Jupyter Notebook を使用して PySpark に接続するときに問題が発生したというユーザーからのフィードバックを受け取りました。具体的な問題は、接続プロセス中に PostgreSQL に関連するいくつかの問題が発生したことです。この問題に対応して、ユーザーが PySpark に正常に接続して問題を解決できるようにするための解決策と操作手順を提供します。この記事では、Docker 上で Jupyter Notebook を使用して PySpark に接続する方法と、よくある問題の解決策を詳しく紹介します。

問題の内容

この問題が発生しました py4jjavaerror: o124.save を呼び出すときにエラーが発生しました。 :org.postgresql.util.psqException: localhost:5432 への接続が拒否されました。ホスト名とポートが正しいこと、およびポストマスターが tcp/ip 接続を受け入れることを確認してください。 この pysark コードを jupyter notbook で実行し、docker を使用してすべてを実行すると、postgresql がローカル マシン (Windows) にインストールされます。

リーリー

postgresql.confを編集して「listen_addresses='localhost'」を追加し、pg_hba.confを編集して「host all all 0.0.0.0/0 md5」を追加しようとしましたが、うまくいかなかったので、どうすればよいかわかりませんやります。

回避策

Docker に PostgreSQL をインストールする問題も解決しました (このイメージを使用して https://hub.docker .com/_/postgres/ のみを作成します) postgres のコンテナ) を使用し、コマンドを使用して PySpark コンテナと postgreSQL コンテナの間にネットワークを作成します。

docker ネットワークは my_network, を作成します

このコマンドはpostgresコンテナ用です

docker run --name postgres_container --network my_network -e POSTGRES_PASSWORD=12345 -d -p 5432:5432 postgres:latest

これは Jupyter-pyspark コンテナー用です

docker run --name jupyter_container --network my_network -it -p 8888:8888 -v C:\home\work\path:/home/jovyan/work jupyter/pyspark-notebook:latest

以上がPostgreSQL の問題、Docker 上の Jupyter Notebook で PySpark に接続しようとしていますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。