스택큐힙리스트

나는 온프레미스 클러스터를 사용하여 몇 년 동안 Spark job을 개발해왔으며, 최근에는 팀이 Google Cloud Platform으로 이동하여 BigQuery와 같은 기능을 활용할 수 있게 되었습니다. 문제는 SQL보다는 PySpark보다 더 자주 처리 단계를 작성하게 된다는 것입니다. 그 이유는 다음과 같습니다: 이해하기 쉽습니다 (상세하지 않음) 유지 보수하기 쉽습니다 (SQL vs scala/python 코드) 필요한 경우 GUI에서 손쉽게 실행할 수 있습니다 파티셔닝, 캐싱 등에 대해 실제로 이해하지 않아도 빠릅니다. 결국 SQL을 사용할 수 없는 작업이 있는 경우에만 Spark를 사용합니다. 분명하게 말하자면, 내 작업 흐름은 보통 다음과 같습니다: 전처리 (이전에는 Spark에서, 이제는..

말하자면, 저는 두 개의 네임스페이스 k8s-app1과 k8s-app2를 가지고 있습니다. 아래 명령을 사용하여 특정 네임스페이스에서 모든 파드를 나열할 수 있습니다. kubectl get pods -n 각각의 네임스페이스에서 객체를 나열하기 위해 모든 명령에 네임스페이스를 추가해야 합니다. 네임스페이스를 명시적으로 포함하지 않고도 특정 네임스페이스를 설정하고 객체를 나열할 수 있는 방법이 있을까요?답변 1제 답변은 짧고 간결하며 공식 문서에 참조를 포함합니다: 답변: kubectl config set-context --current --namespace=my-namespace 출처: https://kubernetes.io/docs/reference/kubectl/cheatsheet/ # 해당 컨텍스트에..

나는 12 개의 팟을 가진 ReplicationController를 삭제하려고 시도했고, 일부 팟이 Terminating 상태에 갇혀있는 것을 확인할 수 있었습니다. 나의 Kubernetes 클러스터는 우분투 가상 머신에 설치된 한 개의 제어 평면 노드(control plane node)와 세 개의 워커 노드(worker nodes)로 구성되어 있습니다. 이 문제의 원인은 무엇일 수 있을까요? NAME READY STATUS RESTARTS AGE pod-186o2 1/1 Terminating 0 2h pod-4b6qc 1/1 Terminating 0 2h pod-8xl86 1/1 Terminating 0 1h pod-d6htc 1/1 Terminating 0 1h pod-vlzov 1/1 Termina..

기존 라이브러리와 인터페이스하려고 하는데, 내장된 open() 함수를 사용하여 .json 파일을 읽는 데 사용합니다. 경로를 나타내는 문자열 또는 바이트 객체 또는 os.PathLike 프로토콜을 구현한 객체 중 하나를 사용할 수 있습니다. 내 함수는 사전을 생성하고 json.dump()을 사용하여 json으로 변환하지만, 해당 함수에 파일 경로가 필요한 상태에서 어떻게 전달해야 할지 잘 모릅니다. 아마도 이런 식으로 작동할 것 같지만, TemporaryFile의 os.PathLike 객체를 얻는 방법을 잘 모르겠습니다. import tempfile temp_file = tempfile.TemporaryFile('w') json.dump('{test: 1}', fp=temp_file) file = ope..