Pythonの強力なクモ（Webクローラ）システム
- ソフト名 : pyspider
- OS :
- 言語 : Python
- 開発者 : HOME
pyspider 詳細説明
PyspiderはPythonの強力なクモ（Webクローラ）システムです。コンポーネントはメッセージキューによって接続されています。メッセージキューを含むすべてのコンポーネントは、独自のプロセス/スレッドで実行されており、交換可能です。つまり、プロセスが遅い場合は、プロセッサの多くのインスタンスを持ち、複数のCPUを最大限に活用することも、複数のマシンにデプロイすることもできます。このアーキテクチャはPyspiderを本当に速くします。ベンチマーク。Pyspiderにはさまざまなコンポーネントがありますので、Pyspiderを実行してスタンドアロンと3番目のサービスフリーインスタンスを起動できます。またはMySQLまたはMongoDBおよびRabBitMQを使用して、分散クロールクラスタをデプロイします。Pyspiderを製品環境に展開するには、各プロセスでコンポーネントを実行し、データベースサービス内のデータを保存することは、より信頼性があり柔軟です。各単一プロセスでPyspiderコンポーネントを展開するには、少なくとも1つのデータベースサービスが必要です。Pyspiderは、MySQL、MongoDB、PostgreSQLをサポートしています。あなたはそれらのうちの1つを選ぶことができます。