About Azure Data Lake Storage
Azure Data Lake Storage 는 빅 데이터 분석을 위한 확장성 있고 효율적인 스토리지를 제공합니다.
Azure Storage를 엔터프라이즈 데이터 레이크를 구축하기 위한 기반이며, 처음부터 수백 기가비트의 처리량을 유지하면서 수 페타바이트의 정보에 대한 서비스를 제공하도록 설계되어 방대한 양의 데이터를 쉽게 관리할 수 있습니다.
Azure Data Lake Storage 특장점
– Azure 글로벌 인프라를 사용하여 모든 용량 요구 사항을 충족
– 데이터 사일로를 제거하여 데이터를 관리함으로써 업무 효율 증대
– 일관되게 고성능으로 대규모 분석 쿼리를 실행
– Azure Active Directory(통합 인증)및 다단계 인증을 제공
– 안전하게 인사이트를 얻을 수 있게 설계된 암호화 프로세스 제공
– 데이터 액세스 및 네트워크 수준 제어를 포괄하는 기능 제공
– 다양한 데이터 수집 도구를 사용하여 데이터를 대규모로 수집
– Azure Databricks, Synapse Analytics 또는 HDInsight를 사용하여 데이터 처리
– 인사이트를 얻을 수 있는 Microsoft Power BI를 사용하여 데이터 시각화
– 스토리지와 컴퓨팅을 독립적으로 스케일링하여 비용 최적화
– 사용량에 따라 계층을 높이거나 낮추는 비용 최적화
– 자동화된 수명 주기 관리 정책을 활용하여 비용 최적화
일반적으로 사용되는 분석 프레임워크
Azure Data Lake Storage 는 Data Lake Storage는 주로 Hadoop 및 Hadoop FileSystem을
데이터 액세스 계층으로 사용하는 모든 프레임워크(예: Spark 및 Presto)에서 작동하도록 설계되었습니다.
Azure Data Factory
-데이터 로드 및 변환
-스케일 아웃
-높은 처리량 데이터 수집
Azure HDInsight
-엔터프라이즈용 오픈 소스 분석
– Apache Hadoop, Spark, Hive, 등 오픈 소스 프레임 워크 실행
Azure Databricks
-스토리지에 빠르게 액세스
-최적화된 Apache Spark 사용
-빅 데이터 분석 및 AI 협업
Azure Synapse Analytics
-데이터 무제한 분석
-원하는 방식으로 쿼리
-통합 환경 데이터 처리
Power BI
-사용자 BI Tool
-데이터 시각화
-Office 365와 통합
Hits: 1067