You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 

321 lines
28 KiB

2020-09-15 11:18:28 [scrapy.extensions.telnet] INFO: Telnet Password: 99625f5fb67f01df
2020-09-15 11:18:28 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
'scrapy.extensions.telnet.TelnetConsole',
'scrapy.extensions.logstats.LogStats']
2020-09-15 11:18:29 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
'scrapy.downloadermiddlewares.retry.RetryMiddleware',
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
'scrapy.downloadermiddlewares.stats.DownloaderStats']
2020-09-15 11:18:29 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
'scrapy.spidermiddlewares.referer.RefererMiddleware',
'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
'scrapy.spidermiddlewares.depth.DepthMiddleware']
2020-09-15 11:18:29 [scrapy.middleware] INFO: Enabled item pipelines:
['demo1.pipelines.kexujishubuPipeline']
2020-09-15 11:18:29 [scrapy.core.engine] INFO: Spider opened
2020-09-15 11:18:29 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2020-09-15 11:18:29 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2020-09-15 11:18:29 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.most.gov.cn/tztg/index.htm> (referer: None)
2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----:http://www.most.gov.cn/tztg/202009/t20200902_158634.htm
2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----:http://www.most.gov.cn/tztg/202008/t20200828_158545.htm
2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----:http://www.most.gov.cn/tztg/202008/t20200827_158488.htm
2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----:http://www.most.gov.cn/tztg/202008/t20200826_158478.htm
2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----:http://www.most.gov.cn/tztg/202008/t20200824_158442.htm
2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----:http://www.most.gov.cn/tztg/202008/t20200820_158368.htm
2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----:http://www.most.gov.cn/tztg/202008/t20200820_158367.htm
2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----:http://www.most.gov.cn/tztg/202008/t20200820_158366.htm
2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----:http://www.most.gov.cn/tztg/202008/t20200818_158360.htm
2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----:http://www.most.gov.cn/tztg/202008/t20200812_158357.htm
2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----:http://www.most.gov.cn/tztg/202008/t20200806_158250.htm
2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----:http://www.most.gov.cn/tztg/202007/t20200731_158051.htm
2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----:http://www.most.gov.cn/tztg/202007/t20200729_158039.htm
2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----:http://www.most.gov.cn/tztg/202007/t20200728_158029.htm
2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----:http://www.most.gov.cn/tztg/202007/t20200728_158024.htm
2020-09-15 11:18:30 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.most.gov.cn/tztg/202009/t20200914_158714.htm> (referer: http://www.most.gov.cn/tztg/index.htm)
2020-09-15 11:18:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.most.gov.cn/tztg/202009/t20200914_158714.htm>
{'biaoti': '中国国际人才交流基金会2019年度公开招聘工作人员拟聘人员公示(第二批)',
'laiyuan': '科技部',
'lianjie': 'http://www.most.gov.cn/tztg/202009/t20200914_158714.htm',
'shijian': '2020-09-14',
'xiangqing': '<div class="Custom_UnionStyle">\n'
'<p> '
'根据事业单位公开招聘工作有关规定,现将我单位2019年公开招聘编制内工作人员拟聘人员(第二批)予以公示。公示期间,如有问题,请向我单位反映,或直接通过中央和国家机关所属事业单位公开招聘服务平台反映。 '
'</p>\n'
'<div align="center">\n'
'<table style="BORDER-COLLAPSE: collapse" bordercolor="#333333" '
'cellspacing="0" cellpadding="0" border="1">\n'
'<tbody>\n'
'<tr>\n'
'<td width="166">\n'
'<p align="center"><span><strong>岗位</strong></span></p></td>\n'
'<td width="68">\n'
'<p align="center"><span><strong>姓名</strong></span></p></td>\n'
'<td width="155">\n'
'<p '
'align="center"><span><strong>学历学位及专业</strong></span></p></td>\n'
'<td width="186">\n'
'<p '
'align="center"><span><strong>原工作单位</strong></span></p></td></tr>\n'
'<tr>\n'
'<td width="166">\n'
'<p align="center"><span>培训与评价处</span><span>副处长</span></p></td>\n'
'<td width="68">\n'
'<p align="center"><span>梁才</span></p></td>\n'
'<td width="155">\n'
'<p '
'align="center"><span>博士研究生<br></span><span>电力系统及其自动化</span></p></td>\n'
'<td width="186">\n'
'<p '
'align="center"><span>国网能源研究院有限公司</span></p></td></tr></tbody></table></div>\n'
'<p> 公示时间:2020年9月11日-9月21日 (七个工作日) <br> 受理电话:010-58882735 '
'<br> 来信地址及邮政编码:北京市海淀区北蜂窝中路3号中国国际人才交流基金会综合处 100038</p>\n'
'<p> </p>\n'
'<p align="center"> 中国国际人才交流基金会<br> '
'2020年9月11日</p></div>'}
2020-09-15 11:18:32 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.most.gov.cn/tztg/202009/t20200911_158708.htm> (referer: http://www.most.gov.cn/tztg/index.htm)
2020-09-15 11:18:32 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.most.gov.cn/tztg/202009/t20200911_158708.htm>
{'biaoti': '2020年科技部直属事业单位公开招聘应届高校毕业生第二批拟聘用人员公示',
'laiyuan': '科技部',
'lianjie': 'http://www.most.gov.cn/tztg/202009/t20200911_158708.htm',
'shijian': '2020-09-11',
'wenjian': [{'file_name': '2020年科技部直属事业单位公开招聘应届高校毕业生第二批拟聘用人员名单',
'file_url': 'http://www.most.gov.cn/tztg/202009/W020200911442476560658.xls',
'new_file': '/2020/09/kS6NPncp_W020200911442476560658.xls'}],
'xiangqing': '<p> '
'根据《事业单位人事管理条例》和《事业单位公开招聘人员暂行规定》,按照公开、平等、竞争、择优的原则,科技部组织开展了2020年直属事业单位公开招聘应届高校毕业生工作。按照规定程序,科学技术部机关服务中心、中国科学技术发展战略研究院、中国科学技术交流中心、中国农村技术开发中心、科学技术部火炬高技术产业开发中心、中国生物技术发展中心、科学技术部科技经费监管服务中心、中国国际核聚变能源计划执行中心、国家科技风险开发事业中心、科学技术部科技人才交流开发服务中心、中国国际人才交流基金会确定了拟聘用人员名单,现对拟聘用人员进行公示(详见附件)。<br> '
'公示时间为2020年9月11日—21日。对公示信息如有异议,可以口头或书面形式向相关用人单位反映问题,反映者须署真实姓名,并提供必要的调查线索。</p>\n'
'<p> 附件:<a '
'href="https://www.sxwikionline.com/gateway/enterprise/file/download/know?path=/home/enterprise/staticrec/policy/2020/09/kS6NPncp_W020200911442476560658.xls" '
'target="_blank" oldsrc="W020200911442476560658.xls" '
'_fcksavedurl="/webpic/W0202009/W020200911/W020200911442476560658.xls">2020年科技部直属事业单位公开招聘应届高校毕业生第二批拟聘用人员名单</a></p>\n'
'<p> </p>\n'
'<p align="center"> 科技部人事司<br> '
'2020年9月11日</p>'}
2020-09-15 11:18:33 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.most.gov.cn/tztg/202009/t20200909_158689.htm> (referer: http://www.most.gov.cn/tztg/index.htm)
2020-09-15 11:18:33 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.most.gov.cn/tztg/202009/t20200909_158689.htm>
{'biaoti': '中国科学技术发展战略研究院2020年面向社会公开招聘研究人员的公告',
'laiyuan': '科技部',
'lianjie': 'http://www.most.gov.cn/tztg/202009/t20200909_158689.htm',
'shijian': '2020-09-09',
'wenjian': [{'file_name': '中国科学技术发展战略研究院应聘报名登记表',
'file_url': 'http://www.most.gov.cn/tztg/202009/W020200909632058434997.doc',
'new_file': '/2020/09/oIhTDQlA_W020200909632058434997.doc'}],
'xiangqing': '中国科学技术发展战略研究院是科技部直属的综合性软科学研究机构,主要从事国家科学技术发展战略、政策、体制、管理、预测、评价以及科技促进经济社会发展等方面的研究,为国家科技、经济、社会发展的宏观决策提供咨询和建议。<br> '
'根据工作需要,现面向社会公开招聘2名事业编制研究人员。有关事宜通知如下。<br> 一、招聘基本条件<br> '
'(一)具有中华人民共和国国籍,遵守宪法和法律;<br> (二)政治思想素质好,遵纪守法,品行端正,无不良记录;<br> '
'(三)具有博士研究生学历和学位,具备应聘岗位所要求的工作能力及岗位所需的其它条件;<br> '
'(四)良好的沟通能力和团队合作精神;<br> (五)身体健康,能正常开展工作;<br> (六)具有北京市户口;<br> '
'(七)年龄40周岁以下(1980年7月1日以后出生)。<br> 二、岗位、人数及要求 \n'
'<table style="BORDER-COLLAPSE: collapse" bordercolor="#333333" '
'cellspacing="0" cellpadding="0" align="center" border="1">\n'
'<tbody>\n'
'<tr>\n'
'<td width="71">\n'
'<p align="center"><span><strong>编号</strong></span></p></td>\n'
'<td width="124">\n'
'<p align="center"><span><strong>岗位名称</strong></span></p></td>\n'
'<td width="54">\n'
'<p '
'align="center"><span><strong>招聘<br>人数</strong></span></p></td>\n'
'<td width="126">\n'
'<p align="center"><span><strong>专业</strong></span></p></td>\n'
'<td width="213">\n'
'<p '
'align="center"><span><strong>其他条件</strong></span></p></td></tr>\n'
'<tr>\n'
'<td valign="top" width="71">\n'
'<p align="center"><span>2020001</span></p></td>\n'
'<td valign="top" width="124">\n'
'<p align="justify"><span>综合发展研究岗</span></p></td>\n'
'<td valign="top" width="54">\n'
'<p align="center"><span>1</span></p></td>\n'
'<td valign="top" width="126">\n'
'<p align="justify"><span>经济学、金融学、国际贸易等相关专业</span></p></td>\n'
'<td valign="top" width="213">\n'
'<p '
'align="justify"><span>具有良好的团队合作精神,理论基础和文字功底扎实,有相关工作经验</span></p></td></tr>\n'
'<tr>\n'
'<td valign="top" width="71">\n'
'<p align="center"><span>2020002</span></p></td>\n'
'<td valign="top" width="124">\n'
'<p align="justify"><span>科技与社会发展研究岗</span></p></td>\n'
'<td valign="top" width="54">\n'
'<p align="center"><span>1</span></p></td>\n'
'<td valign="top" width="126">\n'
'<p><span>社会学、统计学、管理学等相关专业</span></p></td>\n'
'<td valign="top" width="213">\n'
'<p '
'align="justify"><span>具有良好的团队合作精神,理论基础和文字功底扎实,有相关工作经验</span></p></td></tr></tbody></table>\n'
'<p> 三、招聘程序<br> (一)报名<br> '
'应聘人员须填写《中国科学技术发展战略研究院应聘报名登记表》(详见附件),在2020年9月14日前将《应聘报名登记表》及相关证明材料的电子版(扫描件或照片)发至指定邮箱zhb@casted.org.cn。<br> '
'(二)资格审查<br> '
'根据招聘岗位条件对应聘人员资格审查,对于符合条件者,以短信或电子邮件的方式通知应聘者参加考试,同时在中国科学技术发展战略研究院网站(http://www.casted.org.cn)公布考试人员名单。请应聘者在笔试时携带身份证、毕业证、学位证,以及相关证明材料原件,以备核查。<br> '
'(三)考试<br> '
'采取笔试、面试相结合的方式进行。笔试内容为专业能力测试,面试内容为综合性考察。根据笔试成绩排序,成绩不低于60分方有资格进入面试;按1:5的比例参加面试,不足1:5的,按实际参加人数确定。考试其他事项另行通知。<br> '
'(四)考察、体检<br> '
'根据考试、面试综合成绩(笔试成绩占50%,面试成绩占50%)按1:1比例确定考察、体检人选,体检参照《公务员录用体检通用标准》等规定执行。如放弃资格或考察、体检不合格,按综合成绩顺次递补。<br> '
'(五)公示<br> '
'根据考试、体检和考察结果,确定拟聘人员,在中央和国家机关所属事业单位公开招聘服务平台、科学技术部、中国科学技术发展战略研究院网站公示。公示期为7个工作日。<br> '
'(六)聘用<br> '
'经公示无异议后,办理聘用手续,签定聘用合同。被聘用人员实行试用期(试用期2个月,试用期包括在聘用合同期限内),试用期满考核合格的,予以正式聘用;不合格的,解除聘用关系。聘用人员享受国家规定的工资福利待遇。<br> '
'特此公告。<br> 联系电话:58884679 <br> 电子邮箱:zhb@casted.org.cn。<br> '
'传真电话:010-58884678<br> 附件:<a '
'href="https://www.sxwikionline.com/gateway/enterprise/file/download/know?path=/home/enterprise/staticrec/policy/2020/09/oIhTDQlA_W020200909632058434997.doc" '
'target="_blank" oldsrc="W020200909632058434997.doc" '
'_fcksavedurl="/webpic/W0202009/W020200909/W020200909632058434997.doc">中国科学技术发展战略研究院应聘报名登记表</a></p>\n'
'<p align="center"> '
'中国科学技术发展战略研究院<br> 2020年9月9日</p>\n'
'<p> </p>\n'
'<div> </div>'}
2020-09-15 11:18:34 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.most.gov.cn/tztg/202009/t20200904_158652.htm> (referer: http://www.most.gov.cn/tztg/index.htm)
2020-09-15 11:18:35 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.most.gov.cn/tztg/202009/t20200904_158652.htm>
{'biaoti': '关于对“科技冬奥”重点专项2021年度项目申报指南征求意见的通知',
'laiyuan': '科技部',
'lianjie': 'http://www.most.gov.cn/tztg/202009/t20200904_158652.htm',
'shijian': '2020-09-04',
'wenjian': [{'file_name': '“科技冬奥”重点专项2021年度项目申报指南(征求意见稿)',
'file_url': 'http://www.most.gov.cn/tztg/202009/W020200904602892347374.doc',
'new_file': '/2020/09/C6fFHgSq_W020200904602892347374.doc'}],
'xiangqing': '<p> '
'根据《国务院关于改进加强中央财政科研项目和资金管理的若干意见》(国发〔2014〕11号)、《国务院关于深化中央财政科技计划(专项、基金等)管理改革方案的通知》(国发〔2014〕64号)、《科技部 '
'财政部关于印发&lt;国家重点研发计划管理暂行办法>的通知》(国科发资〔2017〕152号)等文件要求,现将“科技冬奥”重点专项2021年度项目申报指南(见附件)向社会征求意见和建议。征求意见时间为2020年9月4日至2020年9月18日,修改意见请于9月18日24点之前发至电子邮箱。<br> '
'国家重点研发计划相关重点专项的凝练布局和任务部署已经战略咨询与综合评审特邀委员会咨询评议,国家科技计划管理部际联席会议研究审议,并报国务院批准实施。本次征求意见重点针对各专项指南方向提出的目标指标和相关内容的合理性、科学性、先进性等方面听取各方意见和建议。科技部将会同有关部门、专业机构和专家,认真研究收到的意见和建议,修改完善相关重点专项的项目申报指南。征集到的意见和建议,将不再反馈和回复。<br> '
'联系方式:sfs_zhc@most.cn</p>\n'
'<p> 附件:<a '
'href="https://www.sxwikionline.com/gateway/enterprise/file/download/know?path=/home/enterprise/staticrec/policy/2020/09/C6fFHgSq_W020200904602892347374.doc" '
'target="_blank" oldsrc="W020200904602892347374.doc" '
'_fcksavedurl="/webpic/W0202009/W020200904/W020200904602892347374.doc">“科技冬奥”重点专项2021年度项目申报指南(征求意见稿)</a></p>\n'
'<p align="center"><br> '
'科技部社会发展科技司<br> 2020年9月4日</p>'}
2020-09-15 11:18:36 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.most.gov.cn/tztg/202009/t20200903_158644.htm> (referer: http://www.most.gov.cn/tztg/index.htm)
2020-09-15 11:18:36 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.most.gov.cn/tztg/202009/t20200903_158644.htm>
{'biaoti': '国家科技基础条件平台中心面向社会公开招聘工作人员公告',
'laiyuan': '科技部',
'lianjie': 'http://www.most.gov.cn/tztg/202009/t20200903_158644.htm',
'shijian': '2020-09-03',
'wenjian': [{'file_name': '国家科技基础条件平台中心公开招聘人员报名表',
'file_url': 'http://www.most.gov.cn/tztg/202009/W020200903611739213756.doc',
'new_file': '/2020/09/fTeew6hw_W020200903611739213756.doc'}],
'xiangqing': '<p> '
'国家科技基础条件平台中心(简称平台中心)是科学技术部直属事业单位,致力于推动科技资源优化配置,实现开放共享。根据《事业单位公开招聘人员暂行规定》和《科技部事业单位人事管理办法》等有关规定,按照“公开、公平、公正、竞争、择优”的原则,面向社会公开招聘一名工作人员。现将有关事宜通知如下: '
'</p>\n'
'<p> <strong>一、招聘岗位</strong> </p>\n'
'<p> 综合与监督处财务会计岗1名。 </p>\n'
'<p> <strong>二、基本条件及岗位要求</strong> </p>\n'
'<p> (一)基本条件 </p>\n'
'<p> 1. 具有中华人民共和国国籍,遵守宪法和法律,拥护中国共产党领导,品行端正,有强烈的事业心和责任心; </p>\n'
'<p> 2. 中共党员; </p>\n'
'<p> 3. 会计类专业,大学本科及以上学历和学位。 </p>\n'
'<p> 4. 具有较强的协作配合及团队精神,具有较强的综合协调、组织管理和文字表达能力; </p>\n'
'<p> 5. 北京市户口,身体健康,年龄一般在35周岁以下(1985年1月1日以后出生); </p>\n'
'<p> 6. 3年以上工作经验,有科研项目财务管理经验者优先。 </p>\n'
'<p> (二)岗位职责 </p>\n'
'<p> '
'承担中心各项会计核算工作;承担中心预决算编制工作,审核各项经费预算,监督各项预算的执行情况。承担编制报送会计报表,管理往来帐目,保管会计档案工作等。 '
'</p>\n'
'<p> <strong>三、招聘程序</strong> </p>\n'
'<p> '
'1.自愿报名。应聘人员须填写《国家科技基础条件平台中心公开招聘人员报名表》(见附件),同时须提交个人简历、学历学位证书、身份证、职称及相关资格证书和获奖证书等扫描件电子版,于2020年9月14日17:00前,发电子邮件至平台中心。 '
'</p>\n'
'<p> 2.资格审查。对应聘人员的资格条件进行审查,确定参加笔试的人员名单。 </p>\n'
'<p> '
'3.考试。考试分笔试与面试两部分。笔试主要测试应聘者综合分析能力、业务水平、文字表达能力,面试主要测试应聘者的沟通协调和岗位适应能力。对于笔试成绩合格者(60分以上),按1:5的比例组织面试。不足1:5的,按实际进入面试人数组织。笔试、面试时间地点及人员名单将在科技部网站及平台中心网站上公布。 '
'</p>\n'
'<p> '
'4.考察。根据综合成绩(笔试成绩占40%,面试成绩占60%)按照1:1比例确定考察人选,平台中心将对其政治表现、道德品质、业务能力、拟任岗位资格等进行调研和考察。 '
'</p>\n'
'<p> '
'5.体检。通知被考察人员到指定医疗机构进行身体检查。体检标准参照《公务员录用体检通用标准(试行)》(2010年修订)执行。 '
'</p>\n'
'<p> '
'6.公示。根据考试成绩、考察情况、体检结果,确定拟聘用人员名单,并对拟聘用人员在中央和国家机关公开招聘服务平台、科技部网站和平台中心网站上进行公示,公示期为7个工作日。 '
'</p>\n'
'<p> 7.签订聘用合同,办理聘用手续等。本次招聘人员试用期为6个月,适用期满考核合格的,予以正式聘用;不合格的,取消聘用。 '
'</p>\n'
'<p> <strong>四、注意事项</strong> </p>\n'
'<p> 1.请应聘人员按时限要求填报《招聘人员报名表》,过期不予受理,恕不接待来访。 </p>\n'
'<p> 2.请应聘人员关注并及时查阅科技部和平台中心网站相关信息,对各环节中未通过的应聘人员将不再单独通知。 </p>\n'
'<p> 3.应聘人员在应聘工作过程中所发生的一切费用自理。 </p>\n'
'<p> <strong>五、联系方式</strong> </p>\n'
'<p> 联系电话:(010)58881106,58881469 </p>\n'
'<p> 电子邮件:pingtai@most.cn </p>\n'
'<p> </p>\n'
'<p> 附件:<a '
'href="https://www.sxwikionline.com/gateway/enterprise/file/download/know?path=/home/enterprise/staticrec/policy/2020/09/fTeew6hw_W020200903611739213756.doc" '
'target="_blank" _fcksavedurl="C:\\fakepath\\平台中心招聘人员报名表.doc" '
'oldsrc="W020200903611739213756.doc">国家科技基础条件平台中心公开招聘人员报名表</a> '
'</p>\n'
'<p> </p>\n'
'<p align="center"> 国家科技基础条件平台中心 <br> '
'2020年9月3日</p>'}
2020-09-15 11:18:36 [scrapy.core.engine] INFO: Closing spider (finished)
2020-09-15 11:18:36 [root] INFO: 爬虫运行完毕了
2020-09-15 11:18:36 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 1728,
'downloader/request_count': 6,
'downloader/request_method_count/GET': 6,
'downloader/response_bytes': 54032,
'downloader/response_count': 6,
'downloader/response_status_count/200': 6,
'elapsed_time_seconds': 7.019067,
'finish_reason': 'finished',
'finish_time': datetime.datetime(2020, 9, 15, 3, 18, 36, 328563),
'item_scraped_count': 5,
'log_count/DEBUG': 11,
'log_count/INFO': 26,
'request_depth_max': 1,
'response_received_count': 6,
'scheduler/dequeued': 6,
'scheduler/dequeued/memory': 6,
'scheduler/enqueued': 6,
'scheduler/enqueued/memory': 6,
'start_time': datetime.datetime(2020, 9, 15, 3, 18, 29, 309496)}
2020-09-15 11:18:36 [scrapy.core.engine] INFO: Spider closed (finished)
2020-09-16 08:47:15 [scrapy.extensions.telnet] INFO: Telnet Password: 091df706957f783b
2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
'scrapy.extensions.telnet.TelnetConsole',
'scrapy.extensions.logstats.LogStats']
2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
'scrapy.downloadermiddlewares.retry.RetryMiddleware',
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
'scrapy.downloadermiddlewares.stats.DownloaderStats']
2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
'scrapy.spidermiddlewares.referer.RefererMiddleware',
'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
'scrapy.spidermiddlewares.depth.DepthMiddleware']
2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled item pipelines:
['demo1.pipelines.kexujishubuPipeline']
2020-09-16 08:47:15 [scrapy.core.engine] INFO: Spider opened
2020-09-16 08:47:15 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2020-09-16 08:47:15 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2020-09-16 08:47:15 [scrapy.crawler] INFO: Overridden settings:
{'BOT_NAME': 'demo1',
'CONCURRENT_REQUESTS': 3,
'DOWNLOAD_DELAY': 8, 'LOG_FILE': 'logs/chacewang_2020_9.log', 'NEWSPIDER_MODULE': 'demo1.spiders', 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], 'RETRY_TIMES': True, 'SPIDER_MODULES': ['demo1.spiders']}