Python 다중 스레드 크롤링 파일, 시간 초과 및 재연결 설정 방법.

Python을 사용하여 데이터를 크롤링할 때 단일 프로세스에서 멀티스레드 크롤링을 활성화해야 합니다. 결국 집중적인 IO로 인해 여러 프로세스가 없습니다. 코드는 다음과 같습니다. {code...} 하지만 스레드의 요청이 값을 반환하지 않는 한 스레드는 계속 대기하고 쓰지 않으므로 메인 프로세스가 차단되지 않는 문제가 있을 것입니다...

黄舟 2017-05-18 11:02:31 0  1  822

Python은 여러 프로세스를 사용하여 파일을 작성할 때 인코딩 문제가 발생하지만 여러 스레드를 사용할 때는 그렇지 않습니다.

여러 프로세스를 사용하여 데이터를 크롤링하고 파일에 기록하면 실행 시 오류가 보고되지 않았지만 파일을 열 때 코드가 깨졌습니다. 멀티스레딩으로 다시 작성하는 경우에는 이러한 문제가 없으며 모든 것이 정상입니다. 다음은 파일에 데이터를 쓰는 코드입니다. {code...} 여러 프로세스에 대한 프로세스 풀 {code...}

我想大声告诉你 2017-06-15 09:21:36 0  3  1121

python - 싱글톤에 대한 스레드 안전성 문제

{Code...} 위는 Python에서 싱글톤을 구현하는 방법이지만, 이 구현이 스레드로부터 안전하지 않다는 것을 우리 모두 알고 있습니다. 위 코드에서는 테스트 코드를 직접 작성했는데, id 출력이 동일하다는 것을 발견했습니다. 내 질문은: 증명할 수 있는 것을 작성하는 방법입니다...

给我你的怀抱 2017-05-18 10:45:22 0  1  633

스레드 - python3 오픈 스레드

저는 Python 초보자입니다. 최근에 작은 Python 인터페이스를 만들고 루프에서 직렬 포트 데이터를 읽기 위해 버튼에 스레드를 열었습니다. 왜 UI에 영향을 주지 않아야 합니까? 해결하다

学习ing 2017-06-12 09:26:46 0  1  782

동시성 모델 - Python이 프로세스 풀을 데코레이터에 넣지 않고 적용되지 않고 오류가 보고되지 않는 이유는 무엇입니까?

데코레이터에 프로세스 풀을 캡슐화하고 싶었지만 적용되지도 않았고 오류도 보고되지 않았습니다. {code...} 결과는 다음과 같습니다. {code...} 그런데 이상한 점은 다중 코드로 다시 썼다는 것입니다. 처리 방법을 찾아보니 적용할 수 있는 {code...} 로그는 다음과 같습니다. {code...} Thread Pool 및 Association에서도 같은 상황이 발생합니다...

仅有的幸福 2017-06-28 09:24:20 0  2  800

스레드를 상속하는 Python 클래스는 플래그 비트를 통해 스레드를 종료할 수 없습니다.

생산자-소비자 모델을 테스트할 때 이러한 문제가 발생했습니다. 스레드를 상속한 후 플래그 표시 {code...} {code...}를 추가하여 원래 스레드 종료 제어를 달성하려고 했습니다. 실제 효과는 프로그램이 Worker.join()에 멈춰 전혀 종료되지 않는다는 것입니다. 찾다...

黄舟 2017-05-18 11:02:22 0  1  818

Python 다중 프로세스 또는 다중 스레드에서 데이터를 효율적으로 동기화하는 방법은 무엇입니까?

멀티스레드/멀티프로세스에서는 큐 등을 통해 작업을 쉽게 얻을 수 있습니다. 그러나 작업이 완료되면 완료된 작업 수를 계산하기 위해서는 현재 멀티 스레드/멀티 프로세스 상황에서 값을 누적해야 합니다. 스레드 잠금/프로세스 관리자 + 프로세스 잠금을 사용하여 레코드를 처리합니다...

怪我咯 2017-06-12 09:24:09 0  1  849

python-pyqt 멀티스레딩 문제는 실제로 그다지 명확하지 않습니다. . 해결하다. .

{代码...} 错误信息如下：`QObject: 다른 스레드에 있는 부모에 대한 자식을 만들 수 없습니다.(부모는 QTextDocument(0x27e4150), 부모의 스레드는 QThread(0xc306a0), 현재 스레드는 QThr...

女神的闺蜜爱上我 2017-06-12 09:25:21 0  2  977

mongodb的线程池设置不起作用

最近遇到线程池的问题，默认mongodb为每个连接（即new 出的一个连接对象）分配了一个线程池，里面最多有10个线程，网上说可以通过MongoOpection的connectionPerHost参数来调整线程池的大小，但是实际上无论我怎么...

迷茫 2017-04-24 09:12:41 0  1  631

java - 하위 스레드가 끝나지 않고 기본 스레드가 종료됩니다.

오늘은 프로그램을 실행할 때 버그가 발생했습니다. 즉, 메인 함수에 의해 실행된 하위 스레드 작업이 완료되기 전에 시작되었습니다. 그러나 메인 프로그램에 sleep()을 추가하면 하위 스레드가 정상적으로 실행되어 시작됩니다(단, 절전 시간이 너무 짧으면 작동하지 않습니다). 디버그 하위 스레드가 주로 데이터 실행에 멈췄습니다.

typecho 2017-06-12 09:21:01 0  2  1109

node.js - 전자 메인 스레드와 렌더링 스레드 간의 통신 문제(Menubar 이벤트가 렌더링 스레드에서 데이터를 얻는 방법)

안녕하세요 여러분: 저는 전자를 사용하여 편집기와 같은 응용 프로그램을 작성하고 있습니다. 응용 프로그램의 메뉴 표시줄에 파일 저장 기능이 있습니다. 메뉴 표시줄은 메인 스레드에 있지만 저장 작업은 파일을 가져와야 하기 때문입니다. 공식 웹사이트에는 메인 스레드를 요청하는 렌더링 스레드의 예만 있습니다(ipcMain 및...

大家讲道理 2017-07-03 11:42:13 0  2  1251

python3 PyQt5 다중 스레드 오류, QObject: 불가능

错误信息如下：`QObject: 다른 스레드에 있는 부모에 대한 자식을 만들 수 없습니다.(부모는 QTextDocument(0x27e4150), 부모의 스레드는 QThread(0xc306a0), 현재 스레드는 QThread(0xc0ec...)

習慣沉默 2017-06-12 09:26:25 0  1  921

mongodb - mysql 스레드는 무엇을 의미합니까?

예를 들어, 웹사이트를 열 때 해당 연결 스레드를 어떻게 이해합니까? 멀티스레딩과 멀티프로세스가 무엇입니까? 도와주세요.

过去多啦不再A梦 2017-05-17 10:03:51 0  1  750

python redis 다중 프로세스 사용

{코드...} 설명서에 따르면 연결 풀이 포함된 Redis 클라이언트를 작성한 다음 전역 사용을 위한 인스턴스를 생성했습니다. 여러 스레드에서 인스턴스를 공유하는 것은 정상적으로 테스트되었습니다. 그러나 여러 프로세스의 경우 테스트가 실패합니다. start를 실행하면 오류가 보고되고 직렬화를 수행할 수 없습니다. 변화...

巴扎黑 2017-06-08 11:02:09 0  1  1116

Java 스레드 모니터링, 스레드 재시작, 관찰자 ​​모드 문제

스레드 모니터링 다시 시작 문제에 대해서는 http://www.cnblogs.com/ae6623을 읽었습니다. 이 기사에서 소개된 관찰자 패턴은 스레드를 다시 시작하기 위한 키 코드를 스레드 본문의 catch 블록에 넣는 것 같습니다. 엑셀 예외에 대해 잘 모르는데 예외가 발생하지 않으면 어떻게 해야 하나요?

天蓬老师 2017-05-27 17:41:04 0  2  773

java - 간단한 멀티스레딩 예제에서 인쇄된 결과를 기반으로 여러 스레드의 실행 프로세스를 분석하는 방법은 무엇입니까?

간단한 멀티스레딩 예제, 여러 스레드의 실행 프로세스를 어떻게 분석해야 합니까? 이 예제에서는 이 5개의 스레드의 실행 프로세스를 알고 싶습니다. 그러면 이 결과가 콘솔에 나타납니다.

滿天的星座 2017-05-27 17:40:53 0  1  557

스레드로부터 안전한 PHP와 스레드로부터 안전하지 않은 PHP 중에서 선택: 올바른 결정을 내리는 방법은 무엇입니까?

저는 Windows10에서 Laravel9.x 애플리케이션을 개발 중입니다. 현재 PHP 버전은 PHP8.1.5(cli)(build:Apr12202217:38:57)(ZTSVisualC++2019x64)입니다. 이 버전은 스레드로부터 안전한 버전인가요, 아니면 스레드로부터 안전하지 않은 버전인가요? 내가 어떻게 알아? 스레드로부터 안전하지 않은 버전 대신 스레드로부터 안전한 버전을 선택해야 하는 경우는 언제입니까? 나는 StackOverflow에서 이것을 조사해 보았지만 내가 본 질문/답변은 모두 10년 이상 된 것 같았습니다.

P粉350036783 2023-12-23 23:34:59 0  1  610

다중 프로세스 - 3D 프린팅 소프트웨어 Printrun이 Python이 가장 잘 못하는 다중 스레딩 방법을 사용하는 이유는 무엇입니까?

저는 최근에 3D 프린터 프로젝트에 접하게 되었습니다. 두 가지 코드가 있습니다. 하나는 오픈 소스 Python printrun이고 다른 하나는 폐쇄 소스 C++이며 둘 다 멀티 스레딩을 사용합니다. C++에서는 이를 구현하기 위해 오픈 소스 mlib를 사용하는데, 이는 이해할 수 있습니다. C++ 코드에 관한 한 각 컨트롤러는 다음을 제어합니다.

天蓬老师 2017-06-12 09:23:41 0  1  872

python - 멀티스레딩에서 mysql 삽입 오류가 발생했습니다.

크롤러를 작성할 때 크롤링된 데이터를 데이터베이스에 저장하고 싶은 경우, 각 페이지에 많은 항목이 있을 수 있으므로 한 페이지에 대해 언로드 루프 {code...}를 삽입합니다. , 느린 속도가 마음에 들지 않아 5개의 {codes...}를 열었고 원활하게 실행되었습니다. INSERT INTO vi...

伊谢尔伦 2017-06-13 09:24:41 0  1  1127