amazon-ec2相关内容

EC2实例无法访问互联网

显然,我的EC2实例无法正常访问互联网。以下是我尝试安装Python模块时发生的情况: [ec2-user@ip-172-31-90-31 ~]$ pip3 install flask Defaulting to user installation because normal site-packages is not writeable WARNING: Retrying (Retry(t ..
发布时间:2022-08-17 17:21:56 其他开发

将拼图文件加载到RedShift中

我在S3上有一堆拼图文件,我想以最优的方式将它们加载到红移中。 每个文件被拆分成多个块……将数据从S3加载到RedShift的最佳方式是什么? 另外,如何在RedShift中创建目标表定义?有没有一种方法可以从Parquet中推断出模式并编程创建表?我相信有一种使用红移光谱的方法可以做到这一点,但我想知道这是否可以在脚本中完成。 感谢您的帮助! 我正在考虑所有AWS工具(如Gl ..

Pysftp失败,";身份验证失败,";服务器没有发送服务器-sig-algs列表;默认为我们的第一个首选算法(';rsa-sha2-512';)";

我在ubuntu v20.04上有EC2实例,它有pythonv3.8.10和pysftp 0.2.9。 我使用以下命令从.ppk文件生成.pem文件 puttygen sftp_server.ppk-O Private-openssh-o sftp_server.pem 我可以使用命令行成功连接到sftp服务器- sftp -o "IdentityFile=sftp_se ..
发布时间:2022-08-09 21:04:08 Python

如何判断我的AWS EC2实例是否由Amazon-EBS支持?

我有一个Amazon EC2实例(Ubuntu),我想将其调整为更大的大小,但我不想重建该实例。有人告诉我,如果它是EBS支持的,那么我不必重建,我只需停止实例并调整大小即可。 其他信息: 我已将S3中的IAM角色添加到此实例。 此实例正在使用t2.Micro “根设备类型”为EBS。 两个问题: 1)我是否可以在无需重新构建实例的情况下调整大小? 2)像T3 Me ..
发布时间:2022-08-09 17:40:02 Python

将GitHub分支机构自动部署到AWS弹性豆茎

假设我在GitHub上有一个分支stable,希望在提交时自动部署到我的AWS EB实例。 我已查看CodePipeline,它在我托管我的实例的区域中不可用。 我还查看了CodeDeploy,但这似乎只适用于EC2的单个实例,而不适用于Elastic Beanstalk。如果我错了,请纠正我。 感谢所有的帮助。我不希望每次提交时都必须手动部署。 推荐答案 对于遇到这 ..

如何将气流调度器部署到AWS EC2?

我正在尝试使用Airflow在AWS上建立一条简单的数据管道。 我已经创建了一个DAG,它每天将数据抓取到S3,然后使用在EMR上运行的Spark作业进行处理。 我当前在本地笔记本电脑上运行气流计划程序,但我当然知道这不是一个好的长期解决方案。 所以我想了解一些关于将调度程序部署到EC2的提示(实例大小、部署进程或任何其他有用的信息) 推荐答案 在本地运行通常不是可行的后期 ..

创建ECS集群时未创建EC2实例

我创建了一个ECS集群,其中包含两个t3.Nano类型的EC2实例。现在,我需要在相同的帐户和相同的区域内创建另一个实例,但实例类型不同。 问题是创建了集群,但没有创建EC2实例。我正在通过AWS ECS控制台创建集群。第一个集群的实例也通过ECS控制台成功创建。我在公共子网中启动它们,以便ECS代理可以到达集群,但这并不是EC2实例不能在集群内注册,而是它们甚至没有被创建,即使集群已经成功 ..
发布时间:2022-07-16 12:30:04 其他开发

如何在批处理过程中使用AWS/RDS切换数据库并避免停机?

对于我们的内部使用,我们在EC2实例上有一个Web应用程序,它从RDS/Postgres数据库读取(不写入)数据。在一天的部分时间内,生成此数据库的新数据(运行约2小时的批处理过程),并将数据直接写入同一数据库,这当然会导致应用程序停机(~2小时),直到数据完全写入。 在AWS/EC2/RDS上,管理这样的情况会是什么好做法,既不允许应用程序停机,又能够回滚到以前的版本,当然,如果批处理过程 ..
发布时间:2022-07-02 23:57:32 其他开发

如何允许ECS任务访问RDS

我有一个从Lambda函数执行的ECS任务。此任务将在运行MySQL的RDS实例上执行一些基本的SQL操作(例如,选择、插入、更新)。管理从ECS任务到RDS的访问的正确方式是什么? 我当前正在使用安全组规则连接到RDS,其中端口3306允许从特定IP地址(EC2实例所在的地址)进行连接。 我正在将此功能从EC2转移到ECS任务。我查看了IAM策略,但这些操作似乎管理AWS CLI R ..
发布时间:2022-07-02 23:15:19 数据库

AWS vPC专用链路-API网关

我有一个包含公网和内网的私有网络。NLB部署到私有子网,有5个监听器。 port 9000 forwarding to targetgroup-01 port 9001 forwarding to targetgroup-02 and so on. 在API网关中创建指向NLB的VPC链路 如何配置API以将请求路由到NLB上的特定目标组?在vPC链路的集成点中,我只看到用于指定vPC ..

如何在Amazon EC2上安装MySQL 5.7

如何在Amazon EC2上的云中安装MySQL 5.7? 我看到的大多数Amazon Machine实例(AMI)要么没有MySQL服务器,要么拥有较旧的版本,如MySQL Server 5.5 我要使用最新和最好的。 推荐答案 这是在Red Hat Enterprise Linux版本7(RHEL7)上相对安装MySQL 5.7.14。 我与AWS没有关联;我只是 ..
发布时间:2022-06-21 19:53:41 数据库

如何检查我的用户数据传递到EC2实例是否正常

使用EC2命令行API创建新的AWS EC2实例时,我向新实例传递了一些用户数据。 我如何知道该用户数据是否已执行? 推荐答案 您可以使用以下步骤进行验证: 启动EC2实例时使用SSH。 在中查看您的用户数据脚本的日志: /var/log/cloud-init.log和 /var/log/cloud-init-output.log 您可以看到用户数据脚本的所有日 ..
发布时间:2022-06-21 19:46:35 其他开发

将现有EBS卷附加和装载到EC2实例文件系统问题

我的旧EC2实例出现了一些未知的问题,因此我无法再ssh进入它。因此,我尝试从旧卷的快照创建新的EBS卷,并将其挂载到新实例中。以下就是我所做的: 从旧卷的快照创建了一个新卷。 创建了一个新的EC2实例,并将卷作为/dev/xvdf(或/dev/sdf)附加到该实例 通过SSH连接到实例并尝试使用以下命令装入旧卷: $ sudo mkdir -m 000 /vol $ sudo ..

仅具有角色(无静态凭据)的AWS跨帐户访问CodeCommit Repo

我在AWS帐户1111中有CodeCommit RePO1。我需要在将在AWS帐户2222中定期启动和终止的EC2实例中克隆REPO1。启动EC2以在短时间(分钟)内执行一些批处理作业,然后以自动方式终止。 在不生成静态凭据的情况下,如何使用角色在2222中启动EC2实例,从1111克隆REPO1。该过程必须使用bash/CLI自动执行。 几天来,我一直在用头撞桌子,但都没有结果。 推荐 ..

AWS CloudFront和ELB安全组

有人知道如何将您的CloudFront发行版添加到ELB的安全组入站规则中吗? 我们为一个新站点设置了CloudFront发行版,其中包含一组针对其来源的白名单安全组规则。我不知道如何配置安全组以允许来自CloudFront发行版的请求… 有什么想法吗? 推荐答案 如果您点击上面评论中由Amir Mehler提供的链接,该博客的作者将指向Github上的official A ..