일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 데이터과학
- 파이썬
- 네트워크보안
- 네트워크
- I'm Sorry
- 소프트웨어공학
- 데이터베이스
- 알고리즘
- 자바스크립트
- 컴퓨터비전
- 프로그래밍
- 2
- 보안
- 빅데이터
- 코딩
- 웹개발
- 사이버보안
- 소프트웨어
- 데이터구조
- 프로그래밍언어
- 자료구조
- 클라우드컴퓨팅
- 머신러닝
- 컴퓨터과학
- Yes
- 버전관리
- 컴퓨터공학
- 데이터분석
- 인공지능
- 딥러닝
- Today
- Total
목록분산시스템 (11)
스택큐힙리스트
더 자세히 말하면, 우리가 처음으로 /increment 엔드포인트를 호출할 때 두 작업자 중 하나만이 요청에 응답하는 것을 볼 수 있습니다 (이게 맞습니다. 두 작업자가 같은 작업을 수행하는 것은 원하지 않습니다). 그러나 두 개의 별도한 meta 객체가 있기 때문에 두 개 중 하나만 증가하게 됩니다. /report 엔드포인트를 호출할 때, 어떤 작업자가 요청에 응답하느냐에 따라 1 또는 0이 반환됩니다. 따라서 문제는, 작업자들이 어떻게 동일한 객체를 공유하고 작업할 수 있는지입니다. 부가적인 질문으로, 위에서 언급한 문제는 /reset 엔드포인트에도 영향을 미칩니다. 이 엔드포인트를 호출하면 작업자 중 하나만 객체를 재설정합니다. 모든 작업자가 엔드포인트 호출에 응답하도록 강제할 방법이 있는지 궁금합..
학습 스파크에 따르면 데이터를 다시 파티션하는 것은 비용이 많이 드는 작업임을 염두에 두어야합니다. Spark는 데이터 이동을 피할 수있는 repartition()라는 최적화 된 버전인 coalesce()도 갖고 있지만, RDD 파티션 수를 감소시킬 때만 사용할 수 있습니다. 하나의 차이점은 repartition()을 사용하여 파티션 수를 늘리거나 줄일 수 있지만, coalesce()는 파티션 수를 감소시킬 수만 있습니다. 파티션이 여러 대의 기계에 분산되어 있고 coalesce()가 실행되는 경우 데이터 이동을 어떻게 피할 수 있습니까?답변 1전체 셔플을 피합니다. 숫자가 감소하고 있다는 것을 알고 있다면 Executor는 데이터를 최소한의 파티션에 유지하고, 남은 노드에서 데이터를 이동해서 유지합니다..
저는 제가 하려는 것과 같은 작업을 수행하는 것처럼 보이는 여러 가지 자습서를 봤는데, 그러나 어떤 이유로 인해 내 Docker 컨테이너가 종료됩니다. 기본적으로 Docker 컨테이너 안에 웹 서버와 몇 가지 데몬을 설정하고 있습니다. 이 작업의 마지막 부분은 Dockerfile에서 CMD로 실행하는 run-all.sh라는 bash 스크립트를 통해 수행됩니다. run-all.sh는 다음과 같이 구성되어 있습니다: service supervisor start service nginx start 그리고 Dockerfile 내에서 다음과 같이 실행합니다: CMD [sh, /root/credentialize_and_run.sh] 나는 수동으로 작업을 실행할 때(즉, -i -t /bin/bash로 이미지에 접속하..
다음과 같이 HTML의 p 태그를 한국어로 번역하십시오. Initialized empty Git repository in C:/code/code/.git/ fatal: 'C:/Program Files (x86)/Git/code'은 Git 저장소처럼 보이지 않습니다 fatal: 원격 연결이 예기치 않게 끊어졌습니다 가장 간단한 방법으로 두 기기 사이에 저장소를 공유하는 방법은 무엇입니까. 다른 위치에는 다른 사람들과 CI 서버 등이 추출할 공식 저장소가 있을 것이고, 이렇게 하면 두 기기에서 동일한 저장소에서 작업할 수 있습니다. Sebastian의 제안대로 다음을 입력하면 다음과 같이 표시됩니다: C:\code>git clone --no-hardlinks file://192.168.10.51/code I..