这篇文章主要讲解了“scrapy远程登录控制台如何实现”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“scrapy远程登录控制台如何实现”吧!远程登录控制台Scrapy附带一个内置的telne
这篇文章主要讲解了“scrapy远程登录控制台如何实现”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“scrapy远程登录控制台如何实现”吧!
Scrapy附带一个内置的telnet控制台,用于检查和控制Scrapy运行过程。telnet控制台只是一个运行在scrappy进程内部的常规python shell,因此您可以从中做任何事情。
telnet控制台是一个 built-in Scrapy extension 它在默认情况下是启用的,但如果需要,您也可以禁用它。有关扩展本身的更多信息,请参阅 Telnet控制台扩展 。
警告
通过公共网络使用telnet控制台是不安全的,因为telnet不提供任何传输层安全性。拥有用户名/密码验证不会改变这一点。
预期用途是本地连接到正在运行的Scrapy Spider(Spider进程和Telnet客户端在同一台计算机上)或通过安全连接(VPN、ssh通道)进行连接。请避免在不安全的连接上使用telnet控制台,或使用 TELNETCONSOLE_ENABLED 选择权。
telnet控制台侦听中定义的tcp端口 TELNETCONSOLE_PORT 设置,默认为 6023 . 要访问控制台,您需要键入:
telnet localhost 6023Trying localhost...Connected to localhost.Escape character is '^]'.Username:PassWord:>>>
默认用户名为 scrapy 密码是自动生成的。自动生成的密码可以在垃圾日志上看到,如下例所示:
2018-10-16 14:35:21 [scrapy.extensions.telnet] INFO: Telnet Password: 16f92501e8a59326
默认用户名和密码可以被设置覆盖 TELNETCONSOLE_USERNAME 和 TELNETCONSOLE_PASSWORD .
警告
用户名和密码仅提供有限的保护,因为telnet不使用安全传输-默认情况下,即使设置了用户名和密码,通信也不会加密。
您需要在windows和大多数linux发行版中默认安装的telnet程序。
elnet控制台就像一个运行在scrappy进程内部的常规Python shell,所以您可以从中做任何事情,包括导入新模块等。
但是,telnet控制台附带一些为方便起见而定义的默认变量:
捷径 | 描述 |
---|---|
crawler | 残废的爬虫 (scrapy.crawler.Crawler 对象) |
engine | crawler.engine属性 |
spider | 主动蜘蛛 |
slot | 发动机槽 |
extensions | 扩展管理器(crawler.extensions属性) |
stats | stats收集器(crawler.stats属性) |
settings | Scrapy设置对象(crawler.settings属性) |
est | 打印发动机状态报告 |
prefs | 内存调试(请参见 调试内存泄漏) |
p | 到的快捷方式 pprint.pprint() 功能 |
hpy | 内存调试(请参见 调试内存泄漏) |
以下是使用telnet控制台可以执行的一些示例任务:
查看发动机状态
你可以使用 est() scrapy引擎使用telnet控制台快速显示其状态的方法:
elnet localhost 6023>>> est()Execution engine statustime()-engine.start_time : 8.62972998619len(engine.downloader.active) : 16engine.scraper.is_idle() : Falseengine.spider.name : followallengine.spider_is_idle() : Falseengine.slot.closing : Falselen(engine.slot.inprogress) : 16len(engine.slot.scheduler.dqs or []) : 0len(engine.slot.scheduler.MQs) : 92len(engine.scraper.slot.queue) : 0len(engine.scraper.slot.active) : 0engine.scraper.slot.active_size : 0engine.scraper.slot.itemproc_size : 0engine.scraper.slot.needs_backout() : False
暂停:
telnet localhost 6023>>> engine.pause()>>>
恢复:
telnet localhost 6023>>> engine.unpause()>>>
停止:
telnet localhost 6023>>> engine.stop()Connection closed by foreign host.
Telnet控制台信号
scrapy.extensions.telnet.update_telnet_vars(telnet_vars)
在telnet控制台打开之前发送。您可以连接到这个信号来添加、删除或更新telnet本地命名空间中可用的变量。为此,需要更新 telnet_vars 听写你的处理程序。
参数
telnet_vars (dict) – telnet变量的dict
以下是控制telnet控制台行为的设置:
TELNETCONSOLE_PORT
违约: [6023, 6073]
用于telnet控制台的端口范围。如果设置为 None 或 0 ,使用动态分配的端口。
TELNETCONSOLE_HOST
违约: '127.0.0.1'
telnet控制台应该监听的接口
TELNETCONSOLE_USERNAME
违约: 'scrapy'
用于telnet控制台的用户名
TELNETCONSOLE_PASSWORD
违约: None
telnet控制台使用的密码,默认行为是让它自动生成。
感谢各位的阅读,以上就是“scrapy远程登录控制台如何实现”的内容了,经过本文的学习后,相信大家对scrapy远程登录控制台如何实现这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是编程网,小编将为大家推送更多相关知识点的文章,欢迎关注!
--结束END--
本文标题: scrapy远程登录控制台如何实现
本文链接: https://lsjlt.com/news/350108.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0