hadoop框架为大数据项目提供了许多有用的工具。但是自己管理它太复杂了。几个月前，我正在使用Cloudera部署Hadoop集群。我发现它仅适用于计算和存储容量不变的架构。将Cloudera这样的工具用于需要扩展的系统是一场噩梦。这就是云技术的用武之地，让我们的生活更轻松。Amazon WEB Services（AWS）是此用例的最佳选择。AWS为Hadoop提供了一个名为Elastic Map Reduce（EMR）的托管解决方案。EMR允许开发人员快速启动Hadoop集群，做必要的计算，并终止他们的时候所有的工作完成。为了进一步自动化此过程，AWS为EMR服务提供了SDK。使用它，您可以使用单个命令启动Hadoop任务。我将在下面的示例中展示它是如何完成的。
我将在EMR中的Hadoop集群上执行spark作业。我的目标是计算amazon.com上大型客户评论数据集的每个星级评分（1-5）的平均评论长度。通常，要执行Hadoop计算，我们需要将所有数据存储在hdfs中。但EMR与S3集成，我们不需要启动数据实例并 为了两分钟的计算而复制大量数据。这种与S3的兼容性是使用EMR的一大优势。许多数据集都是使用S3 分发的，包括我在这个例子中使用的数据集（你可以在这里找到它）。
最初，您应手动启动EMR集群 （使用控制台），以便让AWS为集群映像创建必要的安全组（它们将是我们自动执行脚本所必需的）。为此，请转到EMR服务页面，单击“创建群集”，然后启动具有默认设置的群集。之后，终止它，您将为主实例和从属实例创建两个默认安全组。您还应该创建一个S3存储桶来存储Spark作业执行的结果。
整个自动化解决方案包含两个python文件。第一个是Spark作业本身（将在集群上执行）。第二个是启动脚本，它将调用EMR并将Spark作业传递给它。该脚本将被执行 在您的机器上本地。您应该安装boto3 Python库以使用AWS SDK。
job.py文件的内容：
导入 系统
进口 pyspark
sc = pyspark。SparkContext（appName = “评论”）
def to_entity（item）：
Words = item。拆分（'\ t'）
尝试：
rating = int（words [ 7 ]）
评论 = 单词 [ 13 ]
返回（评级，len（评论））
除了 ValueError：
返回（无，无）
def avg_sec（a，b）：return（a [ 0 ] + b，a [ 1 ] + 1）
def avg_comb（a，b）：return（a [ 0 ] + b [ 0 ]，a [ 1 ] + b [ 1 ]）
def avg_eval（a）：返回 a [ 0 ] / a [ 1 ]
fileName = 'amazon_reviews_us_Camera_v1_00.tsv.gz'
dirName = 's3：// amazon-reviews-pds / tsv /'
rdd = sc。textFile（dirName + fileName）
outFile = sys。argv [ 1 ]
＃过滤跳过标题
评论 = rdd。map（to_entity）。过滤器（拉姆达 X：X [ 0 ] 是 不 无）。坚持（）
INIT =（0，0）
结果 = 评论。aggregateByKey（init，avg_sec，avg_comb）。mapValues（avg_eval）
结果。saveAsTextFile（outFile）
launcher.py文件的内容：
导入 boto3
进口 时间
import argparse
parser = argparse。ArgumentParser（description = '在AWS EMR上启动Spark作业'）
解析器。add_argument（'aws_access_key'，metavar = 'ACCESS_KEY'，help = 'AWS Access Key'）
解析器。add_argument（'aws_secret_key'，metavar = 'SECRET_KEY'，help = 'AWS Secret Key'）
解析器。add_argument（'aws_region'，metavar = 'REGION'，help = 'AWS Region'）
解析器。add_argument（'bucket'，metavar = 'BUCKET'，help = 'S3 Bucket'）
解析器。add_argument（'job_file'，metavar = 'JOB_FILE'，help = 'Spark Job file'）
解析器。add_argument（'result_folder'，metavar = 'RESULT_FOLDER'，help = '结果的S3文件夹'）
解析器。add_argument（'cluster_name'，metavar = 'CLUSTER_NAME'，help = 'EMR Cluster Name'）
解析器。add_argument（'key_name'，metavar = 'ssh_KEY_NAME'，help = 'SSH Key Name'）
解析器。add_argument（'master_sg'，metavar = 'MASTER_SG'，help = '主实例组的安全组ID'）
解析器。add_argument（'slave_sg'，metavar = 'SLAVE_SG'，help = '从属实例组的安全组ID'）
args = 解析器。parse_args（）
client = boto3。客户（
'emr'，
aws_access_key_id = args。aws_access_key，
aws_secret_access_key = args。aws_secret_key，
region_name = args。aws_region）
s3Client = boto3。客户（
's3'，
aws_access_key_id = args。aws_access_key，
aws_secret_access_key = args。aws_secret_key，
region_name = args。aws_region）
邮票 = STR（INT（时间。时间（）））
s3JobFileName = 'job_' + stamp + ' .py '
s3ResultFolderName = args。result_folder + '_' + 戳
s3Client。upload_file（ARGS。job_file，ARGS。桶，s3JobFileName）
响应 = 客户端。run_job_flow（
Name = args。cluster_name，
LogUri = 's3：// aws-logs-511622038217-eu-central-1 / elasticmapReduce /'，
ReleaseLabel = 'emr-5.17.0'，
Instances = {
' MasterInstanceType'：'m4.large'，
'SlaveInstanceType'：'m4.large'，
'InstanceCount'：5，
'Ec2KeyName'：args。key_name，
'KeepJobFlowAliveWhenNoSteps' ：虚假，
'TerminationProtected'：错误，
'HadoopVersion'：'2.8.4'，
'EmrManagedMasterSecurityGroup'：args。master_sg，
'EmrManagedSlaveSecurityGroup'：args。slave_sg
}，
步骤 = [
{
'名字'：'星火工作'，
'ActionOnFailure'：'继续'，
'HadoopjarStep'：{
'Jar'：'command-runner.jar'，
'Args'：[
'spark-submit'，
'--deploy-mode'，
'集群'，
's3：//' + args。bucket + '/' + s3JobFileName，
's3：//' + args。bucket + '/' + s3ResultFolderName
]
}
}，
]
应用 = [
{
'名字'：'火花'
}，
]
VisibleToAllUsers = True，
JobFlowRole = 'EMR_EC2_DefaultRole'，
ServiceRole = 'EMR_DefaultRole'，
ScaleDownBehavior = 'TERMINATE_AT_TASK_COMPLETION'，
EbsRootVolumeSize = 32）
打印（“响应：” + str（响应））
由于launcher.py需要许多参数，因此通过包含此命令的模板shell脚本更容易调用它：
python3 launcher.py \
<AWS_KEY_ID> \
<AWS_SECRET> \
<REGION> \
<S3存储桶（已创建）> \
<Spark作业文件（本地）> \
<输出S3 foler名称> \
<CLUSTER_NAME> \
<EC2_SSH_KEY_NAME> \
<SECURITY_GROUP_ID_FOR_MASTER_INSTANCE（已创建）> \
<SECURITY_GROUP_ID_FOR_SLAVE_INSTANCES（已创建）>
0