Azure Data Lake Storage2021-05-21T11:56:35+00:00

About Azure Data Lake Storage

Azure Data Lake Storage 는 빅 데이터 분석을 위한 확장성 있고 효율적인 스토리지를 제공합니다.
Azure Storage를 엔터프라이즈 데이터 레이크를 구축하기 위한 기반이며, 처음부터 수백 기가비트의 처리량을 유지하면서 수 페타바이트의 정보에 대한 서비스를 제공하도록 설계되어 방대한 양의 데이터를 쉽게 관리할 수 있습니다.

Azure Data Lake Storage 특장점

– Azure 글로벌 인프라를 사용하여 모든 용량 요구 사항을 충족

– 데이터 사일로를 제거하여 데이터를 관리함으로써 업무 효율 증대

– 일관되게 고성능으로 대규모 분석 쿼리를 실행

– Azure Active Directory(통합 인증)및 다단계 인증을 제공

– 안전하게 인사이트를 얻을 수 있게 설계된 암호화 프로세스 제공

– 데이터 액세스 및 네트워크 수준 제어를 포괄하는 기능 제공

– 다양한 데이터 수집 도구를 사용하여 데이터를 대규모로 수집

– Azure Databricks, Synapse Analytics 또는 HDInsight를 사용하여 데이터 처리

– 인사이트를 얻을 수 있는 Microsoft Power BI를 사용하여 데이터 시각화

– 스토리지와 컴퓨팅을 독립적으로 스케일링하여 비용 최적화

– 사용량에 따라 계층을 높이거나 낮추는 비용 최적화

– 자동화된 수명 주기 관리 정책을 활용하여 비용 최적화

일반적으로 사용되는 분석 프레임워크

Azure Data Lake Storage 는 Data Lake Storage는 주로 Hadoop 및 Hadoop FileSystem을
데이터 액세스 계층으로 사용하는 모든 프레임워크(예: Spark 및 Presto)에서 작동하도록 설계되었습니다.

Azure Data Factory

-데이터 로드 및 변환

-스케일 아웃

-높은 처리량 데이터 수집

Azure HDInsight

-엔터프라이즈용 오픈 소스 분석

– Apache Hadoop, Spark, Hive, 등 오픈 소스 프레임 워크 실행

Azure Databricks

-스토리지에 빠르게 액세스

-최적화된 Apache Spark 사용

-빅 데이터 분석 및 AI 협업

Azure Synapse Analytics

-데이터 무제한 분석

-원하는 방식으로 쿼리

-통합 환경 데이터 처리

Power BI

-사용자 BI Tool

-데이터 시각화

-Office 365와 통합