Amazon 데이터 파이어호스 쿼터 - Amazon Data Firehose

Amazon Data Firehose 스트림을 Amazon S3의 Apache Iceberg Table로 전송하는 작업은 미리 보기 중이며 변경될 수 있습니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon 데이터 파이어호스 쿼터

Amazon Data Firehose의 할당량은 다음과 같습니다.

  • MSKAmazon을 Firehose 스트림의 소스로 사용하는 경우 각 Firehose 스트림의 기본 할당량은 파티션당 10MB/초의 읽기 처리량이고 최대 레코드 크기는 10MB입니다. 서비스 할당량 증가를 사용하여 파티션당 읽기 처리량의 기본 할당량인 10MB/초의 증가를 요청할 수 있습니다.

  • Amazon을 Firehose 스트림의 소스로 사용하는 경우 다음과 MSK 같은 경우 최대 레코드 크기는 6Mb입니다. AWS Lambda가 활성화되고, Lambda가 비활성화된 경우 최대 레코드 크기는 10Mb입니다. AWS Lambda는 수신 레코드를 최대 6MB로 제한하고, Amazon Data Firehose는 6Mb가 넘는 레코드를 오류 S3 버킷으로 전달합니다. Lambda가 비활성화된 경우 Firehose는 수신 레코드를 10MB로 제한합니다. Amazon Data Firehose가 Amazon으로부터 10MB보다 큰 레코드 크기를 수신하면 Amazon MSK Data Firehose는 이 레코드를 S3 오류 버킷으로 전송하고 사용자 계정으로 Cloudwatch 지표를 내보냅니다. 에 대한 자세한 내용은 AWS 람다 한도는 latest/dg/gettingstarted-limits.html 를 참조하십시오. https://docs.aws.amazon.com/lambda/

  • Firehose 스트림에서 동적 파티셔닝을 사용하도록 설정하면 해당 Firehose 스트림에 만들 수 있는 활성 파티션 기본 할당량은 500개입니다. 활성 파티션 수는 전송 버퍼 내에 있는 총 활성 파티션 개수입니다. 예를 들어 동적 파티셔닝 쿼리가 초당 3개의 파티션을 구성하고 60초마다 전송을 트리거하도록 버퍼 힌트가 구성된 경우, 활성 파티션은 평균적으로 180개가 됩니다. 파티션에 데이터가 전달된 이후에는 이 파티션은 더 이상 활성화되지 않습니다. Amazon Data Firehose 제한 양식을 사용하여 지정된 Firehose 스트림당 최대 5000개의 활성 파티션까지 이 할당량을 늘리도록 요청할 수 있습니다. 파티션이 더 필요한 경우 Firehose 스트림을 더 만들고 활성 파티션을 스트림에 분산할 수 있습니다.

  • Firehose 스트림에서 동적 파티셔닝을 사용하도록 설정하면 각 활성 파티션에 대해 초당 최대 1GB의 처리량이 지원됩니다.

  • 각 계정의 지역별 Firehose 스트림 수 할당량은 다음과 같습니다.

    • 미국 동부 (버지니아 북부), 미국 동부 (오하이오), 미국 서부 (오레곤), 유럽 (아일랜드), 아시아 태평양 (도쿄): 5,000개의 Firehose 스트림

    • 유럽 (프랑크푸르트), 유럽 (런던), 아시아 태평양 (싱가포르), 아시아 태평양 (시드니), 아시아 태평양 (서울), 아시아 태평양 (뭄바이) AWS GovCloud (미국 서부), 캐나다 (서부), 캐나다 (중부): 2,000개의 Firehose 스트림

    • 유럽 (파리), 유럽 (밀라노), 유럽 (스톡홀름), 아시아 태평양 (홍콩), 아시아 태평양 (오사카), 남미 (상파울루), 중국 (닝샤), 중국 (베이징), 중동 (바레인), AWS GovCloud (미국 동부), 아프리카 (케이프타운): 500개의 Firehose 스트림

    • 유럽 (취리히), 유럽 (스페인), 아시아 태평양 (하이데라바드), 아시아 태평양 (자카르타), 아시아 태평양 (멜버른), 중동 (), 이스라엘 (텔아비브UAE), 캐나다 서부 (캘거리), 캐나다 (중부), 아시아 태평양 (말레이시아): Firehose 스트림 100개

    • 이 숫자를 초과할 경우 전화를 걸면 예외가 발생합니다. CreateDeliveryStreamLimitExceededException 해당 리전에서 이 할당량을 사용할 수 있는 경우 이 할당량을 늘리려면 Service Quotas를 사용할 수 있습니다. Service Quotas 사용에 대한 자세한 내용은 할당량 증가 요청을 참조하세요. 해당 지역에서 서비스 할당량을 사용할 수 없는 경우 Amazon Data Firehose 제한 양식을 사용하여 증가를 요청할 수 있습니다.

  • PUTDirect를 데이터 소스로 구성하면 각 Firehose 스트림은 다음과 같은 통합 할당량 PutRecord및 PutRecordBatch요청을 제공합니다.

    • 미국 동부(버지니아 북부), 미국 서부(오레곤) 및 유럽(아일랜드)의 경우: 레코드 500,000개/초, 요청 2,000개/초, 5Mib/초.

    • 미국 동부 (오하이오), 미국 서부 (캘리포니아 북부) 의 경우 AWS GovCloud (미국 동부), AWS GovCloud (미국 서부), 아시아 태평양 (홍콩), 아시아 태평양 (뭄바이), 아시아 태평양 (서울), 아시아 태평양 (싱가포르), 중국 (베이징), 중국 (닝샤), 아시아 태평양 (시드니), 아시아 태평양 (도쿄), 캐나다 (중부), 캐나다 서부 (캘거리), 유럽 (프랑크푸르트), 유럽 (런던), 유럽 (파리), 유럽 (스톡홀름), 중동 (바바루) Hrain), 남미 (상파울루), 아프리카 (케이프타운), 아시아 태평양 (말레이시아), 유럽 (밀라노): 초당 레코드 100,000개, 초당 요청 1,000개, 초당 1MiB

    할당량 증가를 요청하려면 Amazon Data Firehose 제한 양식을 사용하십시오. 세 할당량은 비례적으로 확장됩니다. 예를 들어, 미국 동부(버지니아 북부), 미국 서부(오레곤) 또는 유럽(아일랜드)의 처리량 할당량을 10MiB/초로 늘리면 나머지 두 할당량은 요청 4,000개/초 및 레코드 1,000,000개/초로 증가합니다.

    중요

    증가한 할당량이 실행 중인 트래픽보다 훨씬 높을 경우, 대상으로 전송되는 배치가 작아집니다. 이는 비효율적이며 대상 서비스에서 비용이 더 높아질 수 있습니다. 현재 실행 중인 트래픽과 일치하는 할당량까지만 늘려야 하며, 트래픽이 증가하면 할당량을 더 늘려야 합니다.

    중요

    데이터 레코드가 작을수록 비용이 증가할 수 있다는 점에 유의하세요. Firehose 통합 요금은 서비스에 전송하는 데이터 레코드 수에 각 레코드의 크기를 곱한 값과 가장 가까운 5KB (5120바이트) 로 반올림한 값을 기준으로 책정됩니다. 따라서 같은 양의 수신 데이터(바이트)에 대해 수신되는 레코드 수가 많을수록 비용이 더 올라갑니다. 예를 들어 총 수신 데이터 용량이 5MiB인 경우, 5,000개 이상의 레코드로 5MiB의 데이터를 보내는 것은 1,000개의 레코드를 사용하여 같은 양의 데이터를 전송하는 것에 비해 비용이 더 많이 듭니다. 자세한 내용은 다음 웹 사이트의 Amazon Data Firehose를 참조하십시오. AWS 계산기.

    참고

    Kinesis Data Streams가 데이터 소스로 구성된 경우 이 할당량이 적용되지 않으며 Amazon Data Firehose는 제한 없이 확장 및 축소됩니다.

  • 각 Firehose 스트림은 전송 대상을 사용할 수 없고 출처가 다음과 같은 경우 최대 24시간 동안 데이터 레코드를 저장합니다. DirectPut 소스가 Kinesis Data Streams KDS () 이고 대상을 사용할 수 없는 경우 데이터는 구성에 따라 보존됩니다. KDS

  • 베이스64로 인코딩하기 전에 Amazon 데이터 파이어호스로 전송되는 레코드의 최대 크기는 1,000KiB입니다.

  • PutRecordBatch작업에는 통화당 최대 500개의 레코드 또는 통화당 4MiB 중 더 작은 값을 사용할 수 있습니다. 이 할당량은 변경할 수 없습니다.

  • 다음 각 작업은 초당 최대 5회의 호출을 제공할 수 있으며, 이는 엄격한 제한입니다.

  • 버퍼 간격 힌트의 범위는 60초 ~ 900초입니다.

  • Amazon Data Firehose에서 Amazon Redshift로 전송하는 경우 공개적으로 액세스할 수 있는 Amazon Redshift 클러스터만 지원됩니다.

  • Amazon Redshift 및 서비스 전송의 재시도 지속 시간 범위는 0초에서 7,200초입니다. OpenSearch

  • Firehose는 엘라스틱서치 버전 1.5, 2.3, 5.1, 5.3, 5.5, 5.6뿐만 아니라 모든 6.* 및 7.* 버전과 아마존 서비스 2.x 최대 2.11을 지원합니다. OpenSearch

  • 대상이 Amazon S3, Amazon Redshift 또는 OpenSearch 서비스인 경우 Amazon Data Firehose는 샤드당 최대 5개의 미해결 Lambda 호출을 허용합니다. Splunk에 대한 할당량은 샤드당 10개의 미해결 Lambda 호출입니다.

  • CUSTOMERMANAGED_ 유형을 사용하여 Firehose 스트림을 최대 CMK 500개까지 암호화할 수 있습니다. CMK

주의 javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.