AWS Glue 3.0容器不适用于Jupyter笔记本电脑的本地开发 [英] AWS Glue 3.0 container not working for Jupyter notebook local development

问题描述

我正在AWS中使用Glue，并尝试在本地开发环境中进行测试和调试。我按照这里的说明https://aws.amazon.com/blogs/big-data/developing-aws-glue-etl-jobs-locally-using-a-container/在本地开发Glue JOB。在这个帖子上，他们使用了Glue 1.0图像进行测试，它的工作方式是应该的。然而，当我加载并尝试用Glue 3.0版本开发时，我遵循了指导步骤，但是，我无法打开Jupyter笔记本：8888，就像帖子说的那样，甚至每一步似乎都是正确的。

这里是在Glue 3.0容器上启动Jupyter笔记本电脑的命令

docker run -itd -p 8888:8888 -p 4040:4040 -v ~/.aws:/root/.aws:ro --name glue3_jupyter amazon/aws-glue-libs:glue_libs_3.0.0_image_01 /home/jupyter/jupyter_start.sh

http://localhost:8888.

上没有显示任何内容

还是不知道为什么！我理解这种不同之处。在不同版本的胶水之间，只是想开发和测试它的最新版本。有没有人有同样的问题？ 谢谢。

推荐答案

似乎GLUE 3.0镜像与SSL有一些问题。本地工作的一种解决方法是禁用SSL(由于文档不更新，您还必须更改脚本路径)。

$ docker run -it -p 8888:8888 -p 4040:4040 -e DISABLE_SSL="true" 
    -e AWS_ACCESS_KEY_ID=$(aws --profile default configure get aws_access_key_id)  
    -e AWS_SECRET_ACCESS_KEY=$(aws --profile default configure get aws_secret_access_key)  
    -e AWS_DEFAULT_REGION=$(aws --profile default configure get region) 
    --name glue_jupyter amazon/aws-glue-libs:glue_libs_3.0.0_image_01  
    /home/glue_user/jupyter/jupyter_start.sh

几秒钟后，您应该有一个正在运行的jupyter笔记本实例在http://127.0.0.1:8888

上运行

这篇关于AWS Glue 3.0容器不适用于Jupyter笔记本电脑的本地开发的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！