pythaac의 개발노트

https://www.youtube.com/watch?v=g_c742vW8dQ&list=PLbd9zR_lqq9exGduT3rsOsGWZZwwzaqrb&index=9 데이터 인프라의 목적 비즈니스 리더들의 의사결정 돕기 서비스/제품을 데이터 활용으로 향상시키기 데이터 인프라 기초 데이터 웨어하우스 데이터 웨어하우스가 필요한 이유 (Production Systems) Production Systems에서 각각 데이터에 대한 분석을 처리 Production Systems - 데이터가 생성되는 곳 - ERP / CRM / Database 데이터 웨어하우스란 통합된 분석 보고서 작성을 위해 다양한 소스로부터 데이터를 저장 데이터의 차이 Production systems Normalized Schema 작은 테이블..

1. 데이터 엔지니어링 개요파트 - 데이터 파이프라인이란 https://www.youtube.com/watch?v=HR3dpnJRk6M&list=PLbd9zR_lqq9exGduT3rsOsGWZZwwzaqrb&index=1 데이터 파이프라인이란 데이터를 한 장소에서 다른 장소로 옮기는 것 API -> Database Database -> Database Database -> BI Tool 데이터 파이프라인이 필요한 이유 데이터 가공 - 데이터 소스로부터 데이터를 생성/저장 데이터 공유 - 영역/부서별 고립된 데이터를 통합 데이터 응용 - 데이터 분석이 필요한 비즈니스 모델에서 사용 데이터 저장 - 클라우드 환경으로 데이터 저장 데이터 파이프라인 예시 데이터 파이프라인 REST API에서 AWS Lambda..

[공고] 넷마블 - 모니터링 서비스 백엔드 개발자 주요 업무 넷마블의 모든 서비스 모니터링 시스템 개발 자격 요건 Java (Spring Framework) 경험 대용량 서비스 기본 이해 IT 서비스 개발/운영 경험 공통화/모듈화/자동화 설계/구현 능력 컨테이너 기반 서비스 경험 우대 요건 React or Front-end Framework 경험 Prometheus, Grafana, Elasticsearch, OpenTelemetry 경험/이해 AWS, GCP 등 클라우드 환경 서비스 운영 경험 https://netmarble.engineering/monitoring-service-team-backed-developer/ [마감]모니터링서비스 백엔드 개발자 - 모니터링서비스팀 - 넷마블 기술 블로그 넷마..

개요 하드웨어, 추상화된 리소스, 스토리지 및 네트워크 리소스를 포함하는 클라우드 컴퓨팅에 필요한 구성 요소 클라우드에서 서비스와 애플리케이션을 호스트하기 위해 필요 동작 방식 가상화와 같은 추상화 기술로 물리적 하드웨어에서 리소스를 분리하여 클라우드로 풀링 자동화 소프트웨어와 관리 툴이 리소스를 할당하고 새로운 환경을 프로비저닝 -> 가상화로 리소스를 나누고 관리 툴이 리소스를 할당 구성요소 하드웨어 클라우드 네트워크는 여러 지리적 위치에 있을 수 있는 다양한 물리적 하드웨어로 이루어져있음 스위치, 라우터, 방화벽, 로드 밸런서, 스토리지 어레이, 백업 장치, 서버 등의 네트워킹 장비 포함 가상화로 여러 서버를 연결하여 리소스를 나누고 추상화하여 사용자가 사용 가상화 하드웨어에서 IT 서비스 및 기능을..

클라우드 컴퓨팅 IT 자원을 구매하여 소유하지 않고 필요시 on-demand 서비스로 제공하는 컴퓨팅 IT 자원은 확장성/유연성이 확보된 서버, 스토리지, SW 등을 포함 -> 스토리지, 소프트웨어 등 IT 리소스를 직접 구매하지 않고 필요할 때 서비스를 제공받는 컴퓨팅 환경 클라우드 서비스 제공업체가 호스팅하여 인터넷을 통해 제공하는 인프라, 플랫폼 또는 소프트웨어 클라우드 서비스 유형 서비스로서의 인프라 (IaaS, Infrasructure-as-a-Service) - 사용자에게 컴퓨팅, 네트워킹, 스토리지 리소스를 제공 서비스로서의 플랫폼 (PaaS, Platform-as-a-Service) - 애플리케이션을 실행할 수 있는 플랫폼과 플랫폼 실행에 필요한 IT 인프라를 제공 서비스로서의 소프트웨어 ..