使用复制命令将数据导入红移

使用Redshift的复制命令进行有效的数据导入

本指南使用高效的COPY命令演示了将大型数据集导入到亚马逊红移中。我们将以公开可用的“情感分析Twitter数据”数据集（Sentiment140）为例。 注意：TeamSQL是一种多平台数据库客户端，与RedShift，PostgreSQL，MySQL和Microsoft SQL Server兼容（可用于Mac，Linux和Windows），可以简化连接过程。 您可以免费下载TeamSQL。在此处下载培训数据zip文件。

关键因素：

复制与插入：
• 由于其并行处理功能，大型数据导入的命令的命令明显更快。 COPY>数据源：您的数据必须在S3中。建议使用CSV格式。 压缩（例如，GZIP）减少了传输时间。
>
• 错误处理：利用
的系统表来诊断导入问题。尽管遇到有限的错误，但
• 选项允许命令继续进行。> stl_load_errors MAXERROR COPY设置红移环境：

>

在此示例中，我们将假设具有这些规格的红移群集：> 群集类型：单节点

节点类型：dc1.large

区域：us-east-1a
• >创建一个数据库：

1. 创建一个架构：

CREATE DATABASE sentiment;

2. 了解数据结构：
>

CREATE SCHEMA tweets;

> csv文件（triending.1600000.processed.noemoticon）包含：

• polarity（int）：0（否定），2（中性），4（正）
>
• >id（bigint）：tweet ID
• >date_of_tweet（varchar）：tweet Date
• query（varchar）：query（或“ no_query”）
>
• > user_id（varchar）：用户ID
• >tweet（varchar）：tweet text

4. 创建一个表：

CREATE DATABASE sentiment;

5. 上传到S3：

>解压缩下载的文件。
compress
• 使用gzip（例如，training.1600000.processed.noemoticon.csv）。gzip training.1600000.processed.noemoticon.csv>
>将压缩文件（
• ）上传到您的S3存储桶中。 或者，使用AWS CLI上传。training.1600000.processed.noemoticon.csv.gz

6. >与TeamsQl： 连接

安装和配置Teamsql。

• 创建一个红移连接，指定群集详细信息和
>数据库。
• sentiment测试连接。

>

（可选）在TeamSQL中重新创建架构和表格：
7. 如果您更喜欢在TeamSQL中管理架构和表创建，请在TeamsSQL接口中重复步骤2和4。

>用复制命令导入数据：

> 在TeamSQL中执行此命令，用您的实际值代替占位符：>

CREATE SCHEMA tweets;

>命令参数：

：指定CSV文件格式。

>

• ：指示gzip压缩。CSV
• ：处理无效的UTF-8字符。 有关此选项的详细信息，请参见Redshift文档，例如GZIP>。
• ACCEPTINVCHARS验证导入：DELIMITER

>故障排除：

CREATE TABLE tweets.training (
    polarity INT,
    id BIGINT,
    date_of_tweet VARCHAR,
    query VARCHAR,
    user_id VARCHAR,
    tweet VARCHAR(MAX)
);

对于任何导入错误： check

CREATE DATABASE sentiment;

本综合指南提供了使用COPY>命令将大型数据集导入红移的详细演练。请记住，请咨询官方的红移文档以获取最新信息和高级选项。

>

以上是使用复制命令将数据导入红移的详细内容。更多信息请关注PHP中文网其他相关文章！