분류 전체보기29 하둡(Hadoop)과 스파크(Spark) 1. 하둡(Hadoop)개념Hadoop은 대규모 데이터를 분산 처리하기 위한 오픈 소스 프레임워크입니다.주로 정적인 데이터를 저장하고 처리하는 데 사용됩니다.핵심 구성 요소HDFS(Hadoop Distributed File System)데이터를 여러 노드에 분산 저장하는 파일 시스템.데이터를 분산 저장하고 복제해 장애에도 안전한 데이터 관리 가능.MapReduce데이터를 병렬로 처리하는 분산 처리 모델.Map 단계에서 데이터를 분리하고, Reduce 단계에서 결과를 집계.특징대규모 데이터 처리: 페타바이트(PB) 단위의 데이터를 처리.저렴한 비용: 일반 하드웨어를 사용하여 대규모 데이터 관리.내구성: 데이터 복제 기능으로 장애 복구 지원.단점느린 데이터 처리 속도 (디스크 기반 처리).실시간 데이터 처리.. 2024. 11. 26. microk8s 인터넷 없이 addon 이용하는 방법 $ export SNAP=/snap/microk8s/{네 자리 숫자} // 뒤 숫자는 바뀔 수 있으니 확인해서 export $ export SNAP_DATA=/var/snap/microk8s/{네 자리 숫자} $ cd /snap/microk8s/{네 자리 숫자}/actions $ ./enable.metallb.sh 2023. 1. 16. kubernetes istio 설치 최신 Istio Releases를 다운로드 한다. (본문에서는 Istio 1.9.6 사용) 다운 받은 폴더로 이동 후, Istioctl 경로를 추가한다. curl -L https://istio.io/downloadIstio | sh - cd istio-1.9.6 export PATH=$PWD/bin:$PATH Istio가 제공하는 profile을 확인하고, 설치한다. istioctl profile list istioctl install --set profile=demo -y kubectl label namespace default istio-injection=enabled * demo 의 경우 가장 많은 컴포넌트를 설치한다. * 다른 profile로 변경하고자 한다면 동일한 명령어에서 profile 만 .. 2023. 1. 16. CentOS 7 rpm 패키지 수동 설치 아래에 있는 주소로 접속하면 centos 패키지 설치가 가능한 repo list 를 확인할 수 있다. http://mirrorlist.centos.org/?release=7&arch=x86_64&repo=os 그 중 하나에 접속하여 rpm 패키지를 다운로드 https://mirror.kakao.com/centos/7/os/x86_64/Packages/ CentOS Mirror mirror.kakao.com 설치 rpm -ivh {파일 명}.rpm 2022. 10. 31. [kubernetes] Failed to create pod sandbox: rpc error: code = Unknown desc = failed to start sandbox container for pod "servicetestpod-6fc8dd4cb8-m9hcp": Error response from daemon: OCI runtime create failed: container_linux.go:380: starting container pr.. FailedCreatePodSandBox Failed to create pod sandbox: rpc error: code = Unknown desc = failed to start sandbox container for pod "servicetestpod-6fc8dd4cb8-m9hcp": Error response from daemon: OCI runtime create failed: container_linux.go:380: starting container process caused: process_linux.go:402: getting the final child's pid from pipe caused: EOF: unknown cni 관련 이슈인데 임시적으로 아래 커맨드를 통해 해결이 가능합니다.. 2022. 10. 4. Windows 10 + Intellij(+ Flutter Plugin) 를 이용한 flutter 개발 환경 구축하기 window PC에서 IntelliJ 에디터를 사용하여 Flutter 개발환경을 구성할 수 있습니다. intellij 마켓플레이스에서 "flutter"를 검색해 설치합니다. (기본으로 dart를 함께 설치해주는데, dart를 검색해 설치가 완료되었는지 확인해보면 좋습니다.) https://flutter.dev/docs/get-started/install/windows 주소를 통해 flutter sdk압축파일을 다운로드할 수 있습니다. (또는 git clone https://github.com/flutter/flutter.git -b stable) 1.2. 환경변수 환경 변수의 사용자 변수 중 Path 항목에 플러터 SDK 의 bin폴더를 추가합니다. (예: C:\development\flutter\bin.. 2022. 9. 30. 이전 1 2 3 4 5 다음
