Backend-Entwicklung
PHP-Tutorial
java – PHP oder Python für die Datenerfassung und -analyse, welche sind die ausgereifteren Frameworks?
java – PHP oder Python für die Datenerfassung und -analyse, welche sind die ausgereifteren Frameworks?
Ich muss jetzt automatisch Daten aus der Artikelliste einer Website und dem tatsächlichen Inhalt in der Liste sammeln. Die ID jedes Artikels kann in der Liste abgerufen werden, und jeder Artikel wird über eine einheitliche Schnittstelle gesammelt (der Parameter bringt diesen Artikel). Der entsprechende JSON kann über die ID abgerufen werden. Es enthält einige Daten, die gesammelt und dann analysiert werden müssen.
Gibt es ein ausgereiftes Framework oder Rad, das meine Anforderungen erfüllen kann? (Es erfordert Multithreading und kann rund um die Uhr stabil laufen, da die Anzahl der Sammlungen riesig ist)
Außerdem möchte ich fragen, wie die gesammelten Inhalte (Millionen bis Dutzende Millionen) gespeichert werden sollen. Die Daten enthalten einige numerische Daten, die einer statistischen Analyse bedürfen. Kann ich MySQL verwenden? Oder gibt es andere ausgereiftere und einfachere Räder, die verwendet werden können?
Antwortinhalt:
Ich muss jetzt automatisch Daten aus der Artikelliste einer Website und dem tatsächlichen Inhalt in der Liste sammeln. Die ID jedes Artikels kann in der Liste abgerufen werden, und jeder Artikel wird über eine einheitliche Schnittstelle gesammelt (der Parameter bringt diesen Artikel). Der entsprechende JSON kann über die ID abgerufen werden. Es enthält einige Daten, die gesammelt und dann analysiert werden müssen.
Gibt es ein ausgereiftes Framework oder Rad, das meine Anforderungen erfüllen kann? (Es erfordert Multithreading und kann rund um die Uhr stabil laufen, da die Anzahl der Sammlungen riesig ist)
Außerdem möchte ich fragen, wie die gesammelten Inhalte (Millionen bis Dutzende Millionen) gespeichert werden sollen. Die Daten enthalten einige numerische Daten, die einer statistischen Analyse bedürfen. Kann ich MySQL verwenden? Oder gibt es andere ausgereiftere und einfachere Räder, die verwendet werden können?
Wenn es sich um eine Datenanalyse handelt.
map-reduce führt eine Protokollanalyse durch
Dpark kann PV- und UV-Analysen lösen
Spark ist auch gut.
Nachdem Sie den Datenbericht erstellt haben, können Sie Pandas zur Analyse und Anzeige verwenden. .
Wenn es sich um eine Datenerfassung handelt. Es gibt viele Werkzeuge.
Warum glaube ich, dass Sie eine Suchmaschine erstellen möchten? . . Die Menge ist relativ groß. Verteilte Inhalte werden empfohlen.
Es ist nicht praktikabel, MYSQL zu verwenden. . .
Junger Mann, ist das nicht das, was Sie von einem Reptil erwarten?
Crawler-Framework: Scrapy
Datenbankauswahl: Die Verwendung von MySQL zur Indizierung auf Ihrem Niveau kann definitiv noch weitere 500 Jahre dauern
Sie können auch MongoDB ausprobieren
Sie haben weder die Sprache noch die Umgebung erwähnt. Für Multithreading werden derzeit im Allgemeinen NodeJS und Python verwendet. Beide können MySQL und dergleichen zum Speichern von Daten verwenden. Millionen oder mehrere zehn Millionen sind kein Problem.
Haben Sie jemals mit Python Selenium PhantomJs gespielt?
Das ist Scrapy in der Python-Sprache oder das ist
Heiße KI -Werkzeuge
Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos
AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.
Undress AI Tool
Ausziehbilder kostenlos
Clothoff.io
KI-Kleiderentferner
Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!
Heißer Artikel
Heiße Werkzeuge
Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor
SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen
Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung
Dreamweaver CS6
Visuelle Webentwicklungstools
SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)
Heiße Themen
PHP und Python: Verschiedene Paradigmen erklärt
Apr 18, 2025 am 12:26 AM
PHP ist hauptsächlich prozedurale Programmierung, unterstützt aber auch die objektorientierte Programmierung (OOP). Python unterstützt eine Vielzahl von Paradigmen, einschließlich OOP, funktionaler und prozeduraler Programmierung. PHP ist für die Webentwicklung geeignet, und Python eignet sich für eine Vielzahl von Anwendungen wie Datenanalyse und maschinelles Lernen.
Wählen Sie zwischen PHP und Python: Ein Leitfaden
Apr 18, 2025 am 12:24 AM
PHP eignet sich für Webentwicklung und schnelles Prototyping, und Python eignet sich für Datenwissenschaft und maschinelles Lernen. 1.PHP wird für die dynamische Webentwicklung verwendet, mit einfacher Syntax und für schnelle Entwicklung geeignet. 2. Python hat eine kurze Syntax, ist für mehrere Felder geeignet und ein starkes Bibliotheksökosystem.
Warum PHP verwenden? Vorteile und Vorteile erläutert
Apr 16, 2025 am 12:16 AM
Zu den Kernvorteilen von PHP gehören einfacher Lernen, starke Unterstützung für Webentwicklung, reiche Bibliotheken und Rahmenbedingungen, hohe Leistung und Skalierbarkeit, plattformübergreifende Kompatibilität und Kosteneffizienz. 1) leicht zu erlernen und zu bedienen, geeignet für Anfänger; 2) gute Integration in Webserver und unterstützt mehrere Datenbanken. 3) leistungsstarke Frameworks wie Laravel; 4) hohe Leistung kann durch Optimierung erzielt werden; 5) mehrere Betriebssysteme unterstützen; 6) Open Source, um die Entwicklungskosten zu senken.
PHP: Eine Einführung in die serverseitige Skriptsprache
Apr 16, 2025 am 12:18 AM
PHP ist eine serverseitige Skriptsprache, die für dynamische Webentwicklung und serverseitige Anwendungen verwendet wird. 1.PHP ist eine interpretierte Sprache, die keine Zusammenstellung erfordert und für die schnelle Entwicklung geeignet ist. 2. PHP -Code ist in HTML eingebettet, wodurch es einfach ist, Webseiten zu entwickeln. 3. PHP verarbeitet die serverseitige Logik, generiert die HTML-Ausgabe und unterstützt Benutzerinteraktion und Datenverarbeitung. 4. PHP kann mit der Datenbank interagieren, die Einreichung von Prozessformularen und serverseitige Aufgaben ausführen.
PHP vs. Python: Anwendungsfälle und Anwendungen
Apr 17, 2025 am 12:23 AM
PHP eignet sich für Webentwicklungs- und Content -Management -Systeme, und Python eignet sich für Datenwissenschafts-, maschinelles Lernen- und Automatisierungsskripte. 1.PHP hat eine gute Leistung beim Erstellen von schnellen und skalierbaren Websites und Anwendungen und wird üblicherweise in CMS wie WordPress verwendet. 2. Python hat sich in den Bereichen Datenwissenschaft und maschinelles Lernen mit reichen Bibliotheken wie Numpy und TensorFlow übertrifft.
Python vs. JavaScript: Die Lernkurve und Benutzerfreundlichkeit
Apr 16, 2025 am 12:12 AM
Python eignet sich besser für Anfänger mit einer reibungslosen Lernkurve und einer kurzen Syntax. JavaScript ist für die Front-End-Entwicklung mit einer steilen Lernkurve und einer flexiblen Syntax geeignet. 1. Python-Syntax ist intuitiv und für die Entwicklung von Datenwissenschaften und Back-End-Entwicklung geeignet. 2. JavaScript ist flexibel und in Front-End- und serverseitiger Programmierung weit verbreitet.
C# gegen C: Geschichte, Evolution und Zukunftsaussichten
Apr 19, 2025 am 12:07 AM
Die Geschichte und Entwicklung von C# und C sind einzigartig, und auch die Zukunftsaussichten sind unterschiedlich. 1.C wurde 1983 von Bjarnestrustrup erfunden, um eine objektorientierte Programmierung in die C-Sprache einzuführen. Sein Evolutionsprozess umfasst mehrere Standardisierungen, z. B. C 11 Einführung von Auto-Keywords und Lambda-Ausdrücken, C 20 Einführung von Konzepten und Coroutinen und sich in Zukunft auf Leistung und Programme auf Systemebene konzentrieren. 2.C# wurde von Microsoft im Jahr 2000 veröffentlicht. Durch die Kombination der Vorteile von C und Java konzentriert sich seine Entwicklung auf Einfachheit und Produktivität. Zum Beispiel führte C#2.0 Generics und C#5.0 ein, die eine asynchrone Programmierung eingeführt haben, die sich in Zukunft auf die Produktivität und das Cloud -Computing der Entwickler konzentrieren.
PHP und Python: Ein tiefes Eintauchen in ihre Geschichte
Apr 18, 2025 am 12:25 AM
PHP entstand 1994 und wurde von Rasmuslerdorf entwickelt. Es wurde ursprünglich verwendet, um Website-Besucher zu verfolgen und sich nach und nach zu einer serverseitigen Skriptsprache entwickelt und in der Webentwicklung häufig verwendet. Python wurde Ende der 1980er Jahre von Guidovan Rossum entwickelt und erstmals 1991 veröffentlicht. Es betont die Lesbarkeit und Einfachheit der Code und ist für wissenschaftliche Computer, Datenanalysen und andere Bereiche geeignet.
