스파크 콘솔에서 INFO 메시지 표시를 중단하는 방법은 다음과 같습니다.

스파크 셸에서 오는 다양한 메시지를 중지하고 싶습니다.

이 메시지를 중지하기 위해 log4j.properties 파일을 편집해 보았습니다.

다음은 log4j.properties의 내용입니다.

# 파일로 하는 첫번째 로거 정의
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
# 너무 상세한 외부 로그를 조용히 하는 설정
log4j.logger.org.eclipse.jetty=WARN
log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

하지만 메시지는 여전히 콘솔에 표시됩니다.

다음은 일부 예제 메시지입니다.

15/01/05 15:11:45 정보 SparkEnv: BlockManagerMaster 등록 중
15/01/05 15:11:45 정보 DiskBlockManager: 로컬 디렉터리 /tmp/spark-local-20150105151145-b1ba 생성됨
15/01/05 15:11:45 정보 MemoryStore: 용량이 0.0 B인 MemoryStore가 시작됨.
15/01/05 15:11:45 정보 ConnectionManager: 소켓을 ConnectionManagerId(192.168.100.85,44728) 포트에 바인딩함
15/01/05 15:11:45 정보 BlockManagerMaster: BlockManager 등록을 시도 중
15/01/05 15:11:45 정보 BlockManagerMasterActor$BlockManagerInfo: 0.0 B RAM으로 192.168.100.85:44728 블록 매니저 등록 중
15/01/05 15:11:45 정보 BlockManagerMaster: BlockManager 등록됨
15/01/05 15:11:45 정보 HTTP 서버 시작
15/01/05 15:11:45 정보 HttpBroadcast: 브로드캐스트 서버 시작

어떻게 이를 중단할 수 있을까요?

답변 1

편집하려면 conf/log4j.properties 파일을 열고 다음 줄을 변경하십시오:

log4j.rootCategory=INFO, console

다음으로 변경하십시오:

log4j.rootCategory=ERROR, console

다른 방법은 다음과 같습니다:

spark-shell을 시작하고 다음을 입력하십시오:

import org.apache.log4j.Logger
import org.apache.log4j.Level
Logger.getLogger(org).setLevel(Level.OFF)
Logger.getLogger(akka).setLevel(Level.OFF)

이후에는 로그를 볼 수 없습니다.

Level에 대한 다른 옵션으로는: all, debug, error, fatal, info, off, trace, trace_int, warn이 있습니다.

각각에 대한 자세한 내용은 문서에서 확인할 수 있습니다.

답변 2

스파크 콘솔에 표시되는 INFO 메시지를 어떻게 중지할 수 있을까요? 이 주제에 관한 SEO에 민감한 한국어 에세이를 작성해드리겠습니다.
INFO 메시지는 Apache Spark 데이터 처리 시스템의 로그 메시지 중 하나입니다. Spark는 사용자에게 다양한 정보를 제공하기 위해 이러한 메시지를 제공합니다. 그러나 때로는 이러한 메시지들이 콘솔 출력을 더럽히고 가독성을 저하시키는 경우가 있습니다. 이 메시지들을 중지하려면 다음 방법을 따를 수 있습니다.
1. 로그 레벨 변경: Spark의 기본 로그 레벨은 INFO입니다. 이 메시지를 중지하려면 로그 레벨을 변경해야 합니다. Spark 애플리케이션 또는 클러스터 설정에서 로그 레벨을 WARN으로 설정하면, INFO 수준의 메시지가 더 이상 표시되지 않습니다.
2. 로거 설정 변경: Spark는 로그를 기록하기 위해 Log4j 라이브러리를 사용합니다. 로거 설정 파일인 log4j.properties 또는 log4j.xml을 열어서 INFO 레벨의 로그 출력을 제거하거나 WARN 레벨로 설정할 수 있습니다.
3. 환경 변수 설정: Spark의 환경 변수인 SPARK_OPTS를 사용하여 로그 레벨을 변경할 수도 있습니다. 예를 들어, 다음과 같이 환경 변수를 설정하면 INFO 메시지가 표시되지 않습니다.
export SPARK_OPTS = –-conf spark.logConf=org.apache.spark.log4j.Log4jSparkRedactionEvaluator
4. 출력 리다이렉션: Spark 콘솔은 기본적으로 INFO 메시지를 콘솔에 표시합니다. 이를 방지하기 위해 출력을 리다이렉션하여 파일에 저장할 수 있습니다. 콘솔 명령어를 사용하여 출력을 저장하면 INFO 메시지가 파일에 기록되지만 콘솔에는 표시되지 않습니다.
이처럼, Spark 콘솔에서 INFO 메시지를 중지하는 방법은 다양합니다. 사용자는 자신이 선호하는 방법을 선택하여 로그 레벨을 변경하거나 로거 설정을 조정하여 해당 메시지를 필터링하고 콘솔 출력을 개선할 수 있습니다.