diff --git a/.idea/jsTestFinder.xml b/.idea/jsTestFinder.xml new file mode 100644 index 0000000..54db8fa --- /dev/null +++ b/.idea/jsTestFinder.xml @@ -0,0 +1,17 @@ + + + + + + + \ No newline at end of file diff --git a/.idea/workspace.xml b/.idea/workspace.xml index 02fc955..f2cc46d 100644 --- a/.idea/workspace.xml +++ b/.idea/workspace.xml @@ -43,16 +43,39 @@ - + + + + + + + - + - + - + + + + + + + + + + + + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - + - + - - + + - + @@ -223,38 +300,123 @@ file://$PROJECT_DIR$/demo1/pipelines.py - 262 - + + file://$PROJECT_DIR$/demo1/pipelines.py + 273 + file://$PROJECT_DIR$/demo1/pipelines.py - 209 - file://$PROJECT_DIR$/demo1/pipelines.py - 268 - file://$PROJECT_DIR$/demo1/pipelines.py - 221 - - file://$PROJECT_DIR$/demo1/spiders/chacewangSpider.py - 102 - + + file://$PROJECT_DIR$/demo1/spiders/ziranweiyuanhuiSpider.py + 50 + - file://$PROJECT_DIR$/demo1/spiders/chacewangSpider.py - 111 - - file://$PROJECT_DIR$/demo1/spiders/chacewangSpider.py - 107 - + + file://$PROJECT_DIR$/demo1/spiders/shanxishengshangwutingSpider.py + 86 + + + file://$PROJECT_DIR$/demo1/spiders/shanxishengshangwutingSpider.py + 87 + + + file://$PROJECT_DIR$/demo1/spiders/shanxigongxintingSpider.py + 64 + + + file://$PROJECT_DIR$/demo1/spiders/shanxizonggaiquSpider.py + 64 + + + file://$PROJECT_DIR$/demo1/spiders/shanxifagaiwei.py + 67 + + + file://$PROJECT_DIR$/demo1/spiders/shanxifagaiwei.py + 64 + + + file://$PROJECT_DIR$/demo1/spiders/taiyuanshikexujishujuSpider.py + 73 + + + file://$PROJECT_DIR$/demo1/spiders/taiyuanshikexujishujuSpider.py + 64 + + + file://$PROJECT_DIR$/demo1/spiders/taiyuangongyehexinxihuajuSpider.py + 77 + + + file://$PROJECT_DIR$/demo1/spiders/taiyuangongyehexinxihuajuSpider.py + 75 + + + file://$PROJECT_DIR$/demo1/spiders/taiyuangongyehexinxihuajuSpider.py + 40 + + + file://$PROJECT_DIR$/demo1/spiders/taiyuanshangwujuSpider.py + 47 + + + file://$PROJECT_DIR$/demo1/spiders/shanxixiaoqiyecujinjuSpider.py + 40 + + + file://$PROJECT_DIR$/demo1/pipelines.py + 335 + + + file://$PROJECT_DIR$/demo1/pipelines.py + 323 + @@ -265,12 +427,14 @@ - + + + - + \ No newline at end of file diff --git a/all_demo1.egg b/all_demo1.egg deleted file mode 100644 index 2b22b8e..0000000 Binary files a/all_demo1.egg and /dev/null differ diff --git a/demo1/Util.py b/demo1/Util.py new file mode 100644 index 0000000..0ae06b3 --- /dev/null +++ b/demo1/Util.py @@ -0,0 +1,223 @@ +from uuid import uuid4 +import datetime +from lxml import etree +import logging +import pymysql +from abc import ABCMeta,abstractmethod +from twisted.enterprise import adbapi +import copy +class Util_WANG(metaclass=ABCMeta): + @classmethod + def pos_url(cls,item,settings,response=None): + """ + 判断我们的链接是否为那种直接需要打开的，pdf，image等，这种的 + :param item:原文item + :param settings: 把那个settings传进来 + :param response: 请求response + :return: 最好是直接返回是否为需要下载的，需要的返回true，不需要的返回false + """ + houzui=item['lianjie'][item['lianjie'].rfind('.'):].strip() + jiewei = ['.doc', '.xls', '.docx', '.xlsx', '.txt', '.rar', '.zip', '.wps', '.pdf','.jpg', '.png', '.jpeg', '.gif', '.svg'] + s=False + for jiewei_sign in jiewei: + if item['lianjie'].endswith(jiewei_sign): + s=True + break + if s: + year = datetime.datetime.now().strftime('%Y') + mouth = datetime.datetime.now().strftime('%m') + item['wenjian'] = [{'file_name': '原文件'}] + item['wenjian'][0]['file_url'] = item['lianjie'] + houzui = item['wenjian'][0]['file_url'][item['wenjian'][0]['file_url'].rfind('/') + 1:] + new_url = '/' + year + '/' + mouth + '/' + cls.short_uuid() + '_' + houzui + item['wenjian'][0]['new_file'] = new_url + item['xiangqing'] = '

请查看原文附件：原文件

' + return s + @classmethod + def jiewei_href_contains(cls): + """ + 返回我们的文件的后缀 + :return: + """ + str = '' + jiewei = ['.doc', '.xls', '.docx', '.xlsx', '.txt', '.rar', '.zip', '.wps', '.pdf'] + for j in jiewei: + str += 'contains(@href,"' + j + '")' + ' or ' + str = str.strip().strip('or').strip() + return str + @classmethod + def jiewei_src_contains(cls): + """ + 返回我们图片文件 + :return: + """ + str = '' + jiewei = ['.jpg', '.png', '.jpeg', '.gif', '.svg'] + for j in jiewei: + str += 'contains(@src,"' + j + '")' + ' or ' + str = str.strip().strip('or').strip() + return str + @classmethod + def short_uuid(cls): + uuidChars = ("a", "b", "c", "d", "e", "f", + "g", "h", "i", "j", "k", "l", "m", "n", "o", "p", "q", "r", "s", + "t", "u", "v", "w", "x", "y", "z", "0", "1", "2", "3", "4", "5", + "6", "7", "8", "9", "A", "B", "C", "D", "E", "F", "G", "H", "I", + "J", "K", "L", "M", "N", "O", "P", "Q", "R", "S", "T", "U", "V", + "W", "X", "Y", "Z") + uuid = str(uuid4()).replace('-', '') + result = '' + for i in range(0, 8): + sub = uuid[i * 4: i * 4 + 4] + x = int(sub, 16) + result += uuidChars[x % 0x3E] + return result + @classmethod + def tihuan_a_return(cls, item, tihuanlujing,response=None): + txt = item['xiangqing'] + """ + 替换我们得网页里面得a标签，以及实现我们得a标签，并且放入我们得item中,我们必须实现a_fun方法 + :param item:我们要放入得参数的对象 + :param tihuanlujing: 要实现得替换路径得文件路径的前缀 + :return: + """ + year = datetime.datetime.now().strftime('%Y') + mouth = datetime.datetime.now().strftime('%m') + panDuanNone = lambda x: '_' if x is None else x + html = etree.HTML(txt) + c='//a[@href and (' + cls.jiewei_href_contains() + ')]' + alis = html.xpath('//a[@href and (' + cls.jiewei_href_contains() + ')]') + for alis_single in alis: + single_a_file = {} + href = str(alis_single.xpath('@href')[0]) + content = str(panDuanNone(alis_single.xpath('string(.)'))) + if content.strip() in '': + content='_' + single_a_file['file_name'] = content + # 每次只需要修改这里我们实际的下载链接地址 + old_url = href + if href.lower().startswith('http'): + single_a_file['file_url']=old_url + elif response!=None and (old_url.lower().startswith('./') or old_url.lower().startswith('../')): + single_a_file['file_url']=response.urljoin(old_url) + elif response!=None and (old_url.lower().startswith('/') or old_url.lower().startswith('/')): + single_a_file['file_url']=response.urljoin(old_url) + else: + single_a_file['file_url'] = cls.a_fun(cls,href) + houzui = single_a_file['file_url'][single_a_file['file_url'].rfind('/') + 1:] + new_url = '/' + year + '/' + mouth + '/' + cls.short_uuid() + '_' + houzui + txt = txt.replace(old_url, tihuanlujing + new_url) + single_a_file['new_file'] = new_url + try: + item['wenjian'].append(single_a_file) + except: + item['wenjian'] = [single_a_file] + item['xiangqing'] = txt + @classmethod + def tihuan_img_return(cls, item, tihuanlujing,response=None): + txt=item['xiangqing'] + """ + 替换我们得网页里面得src标签，以及实现我们得src标签，并且放入我们得item中 + :param item:我们要放入得参数的对象 + :param tihuanlujing: 要实现图片得替换路径得图片路径的前缀 + :return: + """ + year = datetime.datetime.now().strftime('%Y') + mouth = datetime.datetime.now().strftime('%m') + panDuanNone = lambda x: '_' if x is None else x + html = etree.HTML(txt) + imglis = html.xpath('//img[@src and (' + cls.jiewei_src_contains() + ')]') + for imglis_single in imglis: + single_src_file = {} + src = str(imglis_single.xpath('@src')[0]) + content = str(panDuanNone(imglis_single.xpath('string(.)'))) + if content.strip() in '': + content='_' + single_src_file['file_name'] = content + old_url = src + # 每次只需要修改这里我们实际的下载链接地址 + if old_url.lower().startswith('http'): + single_src_file['file_url']=old_url + elif response != None and (old_url.lower().startswith('./') or old_url.lower().startswith('../')): + single_src_file['file_url'] = response.urljoin(old_url) + elif response !=None and (old_url.lower().startswith('/') or old_url.lower().startswith('/')): + single_src_file['file_url'] = response.urljoin(old_url) + else: + single_src_file['file_url'] = cls.img_fun(cls,src) + houzui = single_src_file['file_url'][single_src_file['file_url'].rfind('/') + 1:] + new_url = '/' + year + '/' + mouth + '/' + cls.short_uuid() + '_' + houzui + txt = txt.replace(old_url, tihuanlujing + new_url) + single_src_file['new_file'] = new_url + try: + item['wenjian'].append(single_src_file) + except: + item['wenjian'] = [single_src_file] + item['xiangqing'] = txt + + @abstractmethod + def a_fun(self,href): + """ + 这个就是把href操作过后的结果为我们返回 + :param href: + :return: + """ + pass + @abstractmethod + def img_fun(self, src): + """ + 这个就是把src操作过后的结果为我们返回 + :param src: + :return: + """ + pass + + +# 公共的异步插入 +class Asyninser(object): + ''' + 实现初始化 + def __init__(self,dbpool): + self.dbpool=dbpool + 实现do_insert, + def do_insert(self, cursor, item): + + ''' + def __init__(self, dbpool): + self.dbpool = dbpool + @classmethod + def from_settings(cls, settings): # 函数名固定，会被scrapy调用，直接可用settings的值 + """ + 数据库建立连接 + :param settings: 配置参数 + :return: 实例化参数 + """ + adbparams = dict( + host=settings['MYSQL_HOST'], + db=settings['MYSQL_DATABASE'], + user=settings['MYSQL_USER'], + password=settings['MYSQL_PASSWORD'], + cursorclass=pymysql.cursors.DictCursor # 指定cursor类型 + ) + + # 连接数据池ConnectionPool，使用pymysql或者Mysqldb连接 + dbpool = adbapi.ConnectionPool('pymysql', **adbparams) + # 返回实例化参数 + return cls(dbpool) + def close_spider(self, spider): + logging.info('爬虫运行完毕了') + def process_item(self, item, spider): + """ + 使用twisted将MySQL插入变成异步执行。通过连接池执行具体的sql操作，返回一个对象 + """ + asynItem = copy.deepcopy(item) + query = self.dbpool.runInteraction(self.do_insert, asynItem) # 指定操作方法和操作数据 + # 添加异常处理 + query.addErrback(self.handle_error,asynItem,spider) # 处理异常 + return asynItem + def handle_error(self, failure,asynItem,spider): + if failure: + # 打印错误信息 + logging.info('----------数据库插入异常信息--------') + logging.info(failure) + logging.info('---------异常信息结束--------') \ No newline at end of file diff --git a/demo1/__pycache__/Util.cpython-37.pyc b/demo1/__pycache__/Util.cpython-37.pyc new file mode 100644 index 0000000..485101a Binary files /dev/null and b/demo1/__pycache__/Util.cpython-37.pyc differ diff --git a/demo1/__pycache__/custom_settings_conf.cpython-37.pyc b/demo1/__pycache__/custom_settings_conf.cpython-37.pyc new file mode 100644 index 0000000..0ed303b Binary files /dev/null and b/demo1/__pycache__/custom_settings_conf.cpython-37.pyc differ diff --git a/demo1/__pycache__/items.cpython-37.pyc b/demo1/__pycache__/items.cpython-37.pyc index ba3d9aa..af4afac 100644 Binary files a/demo1/__pycache__/items.cpython-37.pyc and b/demo1/__pycache__/items.cpython-37.pyc differ diff --git a/demo1/__pycache__/middlewares.cpython-37.pyc b/demo1/__pycache__/middlewares.cpython-37.pyc index 53ecdfb..b3ebe4b 100644 Binary files a/demo1/__pycache__/middlewares.cpython-37.pyc and b/demo1/__pycache__/middlewares.cpython-37.pyc differ diff --git a/demo1/__pycache__/pipelines.cpython-37.pyc b/demo1/__pycache__/pipelines.cpython-37.pyc index 1f38f76..c2cca20 100644 Binary files a/demo1/__pycache__/pipelines.cpython-37.pyc and b/demo1/__pycache__/pipelines.cpython-37.pyc differ diff --git a/demo1/__pycache__/settings.cpython-37.pyc b/demo1/__pycache__/settings.cpython-37.pyc index bbbc3fb..d66ea9e 100644 Binary files a/demo1/__pycache__/settings.cpython-37.pyc and b/demo1/__pycache__/settings.cpython-37.pyc differ diff --git a/demo1/crawl.py b/demo1/crawl.py new file mode 100644 index 0000000..bdaa139 --- /dev/null +++ b/demo1/crawl.py @@ -0,0 +1,11 @@ +from scrapy.crawler import CrawlerProcess +from scrapy.utils.project import get_project_settings + +process = CrawlerProcess(get_project_settings()) + +# myspd1是爬虫名 +process.crawl('myspd1') +process.crawl('myspd2') +process.crawl('myspd3') + +process.start() \ No newline at end of file diff --git a/demo1/custom_settings_conf.py b/demo1/custom_settings_conf.py new file mode 100644 index 0000000..b065057 --- /dev/null +++ b/demo1/custom_settings_conf.py @@ -0,0 +1,390 @@ +import datetime + +current_day = datetime.datetime.now() +# 查策网 +custom_settings_conf_chacewang = { + # 如果要整个网站续爬就，把参数设置为False ，如果想整个网站都遍历一次那么就把参数改为True + #'ISQUANPA': False, + 'LOG_FILE': "logs/chacewang_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 8, + # 并发速度 + 'CONCURRENT_REQUESTS': 3, + 'ITEM_PIPELINES': { + 'demo1.pipelines.MysqlYiBUPipeline': 678, + } +} +# 科学技术部 +custom_settings_conf_kexujishubu = { + # 是否全爬 是全爬就写true 不是全爬就写false + #'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE': "logs/kexujishubu_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 1, + # 并发速度 + 'CONCURRENT_REQUESTS': 16, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + 'demo1.pipelines.kexujishubuPipeline': 679 + } +} +# 工信部 +custom_settings_conf_gongyehexinxihuabu = { + #'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE': "logs/gongyehexinxihuabu_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 1, + # 并发速度 + 'CONCURRENT_REQUESTS': 16, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + 'demo1.pipelines.gongyehexinxihuabuPipline': 680 + } +} + +# 国家自然科学基金委员会 +custom_settings_conf_ziranweiyuanhui = { + #'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE' :"logs/ziranweiyuanhui_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 1, + # 并发速度 + 'CONCURRENT_REQUESTS': 16, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + 'demo1.pipelines.ziranweiyuanhuiPipline': 681 + } +} +#火炬中心 +custom_settings_conf_huojuzhognxin = { + #'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE' :"logs/huojuzhongxin_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 1, + # 并发速度 + 'CONCURRENT_REQUESTS': 16, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + #不带写了，用一个 + 'demo1.pipelines.ziranweiyuanhuiPipline': 681 + } +} +#发改委 +custom_settings_conf_fagaiwei = { + #'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE' :"logs/fagaiwei_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 1, + # 并发速度 + 'CONCURRENT_REQUESTS': 16, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + #不带写了，用一个 + 'demo1.pipelines.ziranweiyuanhuiPipline': 681 + } +} +#文化和旅游部 +custom_settings_conf_wenhuahelvyoubu = { + #'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE' :"logs/wenhuahelvyoubu_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 1, + # 并发速度 + 'CONCURRENT_REQUESTS': 16, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + #不带写了，用一个 + 'demo1.pipelines.ziranweiyuanhuiPipline': 681 + } +} +#中小企业总局 +custom_settings_conf_zhongxiaoqiyezongju = { + #'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE' :"logs/zhongxiaoqiyezongju_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 1, + # 并发速度 + 'CONCURRENT_REQUESTS': 16, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + #不带写了，用一个 + 'demo1.pipelines.ziranweiyuanhuiPipline': 681 + } +} +#山西小企业发展促进局 +custom_settings_conf_cujinjuSpider = { + #'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE' :"logs/fazhancujinju_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 1, + # 并发速度 + 'CONCURRENT_REQUESTS': 16, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + #不带写了，用一个 + 'demo1.pipelines.ziranweiyuanhuiPipline': 681 + } +} +#山西省科技厅 +custom_settings_conf_sxkejitingSpider = { + #'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE' :"logs/sxkejiting_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 1, + # 并发速度 + 'CONCURRENT_REQUESTS': 16, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + #不带写了，用一个 + 'demo1.pipelines.ziranweiyuanhuiPipline': 681 + } +} +#山西省商务厅 +custom_settings_conf_sxShangwutingSpider={ + #'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE' :"logs/sxshangwuting_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 1, + # 并发速度 + 'CONCURRENT_REQUESTS': 16, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + #不带写了，用一个 + 'demo1.pipelines.ziranweiyuanhuiPipline': 681 + } +} +#山西省工业和信息厅 +custom_settings_conf_sxgongxintingSpider={ + #'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE' :"logs/sxgongxinting_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 1, + # 并发速度 + 'CONCURRENT_REQUESTS': 16, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + #不带写了，用一个 + 'demo1.pipelines.ziranweiyuanhuiPipline': 681 + } +} +#山西综改示范区 +custom_settings_conf_sxzonggaishifanSpider={ + #'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE' :"logs/sxzonggaishifanqu_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 1, + # 并发速度 + 'CONCURRENT_REQUESTS': 16, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + #不带写了，用一个 + 'demo1.pipelines.ziranweiyuanhuiPipline': 681 + } +} +#山西发改委 +custom_settings_conf_sxfagaiweiSpider={ + 'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE' :"logs/sxfagaiwei_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 1, + # 并发速度 + 'CONCURRENT_REQUESTS': 16, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + #不带写了，用一个 + 'demo1.pipelines.ziranweiyuanhuiPipline': 681 + } +} +#太原市科学技术局 +custom_settings_conf_taiyuankexuejishujuSpider={ + #'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE' :"logs/taiyuankjj_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 1, + # 并发速度 + 'CONCURRENT_REQUESTS': 16, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + #不带写了，用一个 + 'demo1.pipelines.ziranweiyuanhuiPipline': 681 + } +} +#太原市工业和信息化局 +custom_settings_conf_taiyuangongyehexinxihuajuSpider={ + #'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE' :"logs/taiyuangongyehexinxihuaju_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 1, + # 并发速度 + 'CONCURRENT_REQUESTS': 16, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + #不带写了，用一个 + 'demo1.pipelines.ziranweiyuanhuiPipline': 681 + } +} +#太原市商务局 +custom_settings_conf_taiyuanshangwujuSpider={ + #'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE' :"logs/taiyuanshangwuju_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 1, + # 并发速度 + 'CONCURRENT_REQUESTS': 16, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + #不带写了，用一个 + 'demo1.pipelines.ziranweiyuanhuiPipline': 681 + } +} +#企策通 +custom_settings_conf_qicetongSpider={ + 'SHENBAOTONGZHI':"M7EkvSokQa3QVgX6WFf5LP", + #'ISQUANPA': False, + # LOG_ENABLED 默认: True，启用 logging + # LOG_ENCODING 默认: 'utf-8'，logging 使用的编码 + # LOG_FILE 默认: None，在当前目录里创建 logging 输出文件的文件名 + # LOG_LEVEL 默认: 'DEBUG'，log 的最低级别 + # LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log 中。 + # 例如，执行 print "hello" ，其将会在 Scrapy log 中显示。 + 'LOG_FILE' :"logs/qicetong_{}_{}.log".format(current_day.year, current_day.month, current_day.day), + # 下载时间间隔 + 'DOWNLOAD_DELAY': 8, + # 并发速度 + 'CONCURRENT_REQUESTS': 3, + 'DOWNLOADER_MIDDLEWARES': { + 'demo1.middlewares.DingZhiCookieMiddleware': None, + }, + 'ITEM_PIPELINES': { + #不带写了，用一个 + 'demo1.pipelines.ziranweiyuanhuiPipline': 681 + } +} diff --git a/demo1/items.py b/demo1/items.py index 592ed21..a616ca8 100644 --- a/demo1/items.py +++ b/demo1/items.py @@ -27,8 +27,10 @@ class Shouyelianjie(scrapy.Item): shijian = scrapy.Field()#发布时间 xiangqing=scrapy.Field()#详情内容 biaoqian=scrapy.Field()#标签 比如事后资助 人才认定与资助 + diqu=scrapy.Field()#存地区的地址比如我们默认的应该是100000 #文件list（包括图片） wenjian=scrapy.Field() #是否存在 count=scrapy.Field() + yuanwenurl=scrapy.Field()#原文链接 diff --git a/demo1/logs/chacewang_2020_9.log b/demo1/logs/chacewang_2020_9.log new file mode 100644 index 0000000..5b13ffc --- /dev/null +++ b/demo1/logs/chacewang_2020_9.log @@ -0,0 +1,964 @@ +2020-09-15 11:13:27 [scrapy.extensions.telnet] INFO: Telnet Password: dc7ac6e8f6616faa +2020-09-15 11:13:27 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:13:28 [root] INFO: 我是RundomUserAgentMiddleware +2020-09-15 11:13:28 [root] INFO: 我是DingZhiCookieMiddleware +2020-09-15 11:13:28 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'demo1.middlewares.RundomUserAgentMiddleware', + 'demo1.middlewares.DingZhiCookieMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:13:28 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:13:28 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.MysqlYiBUPipeline'] +2020-09-15 11:13:28 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:13:28 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:13:28 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:13:29 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/72721 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/72210 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/71141 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/70608 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/70941 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69801 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69805 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69804 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68878 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68458 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68456 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68411 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68455 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68167 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68969 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/67377 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/67388 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68453 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/67188 +2020-09-15 11:13:29 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66875 +2020-09-15 11:13:39 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:13:39 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69799 +2020-09-15 11:13:39 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69810 +2020-09-15 11:13:39 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68426 +2020-09-15 11:13:39 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69811 +2020-09-15 11:13:39 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68415 +2020-09-15 11:13:39 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69812 +2020-09-15 11:13:39 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68421 +2020-09-15 11:13:39 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68423 +2020-09-15 11:13:39 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65867 +2020-09-15 11:13:39 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65904 +2020-09-15 11:13:39 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65903 +2020-09-15 11:13:39 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65855 +2020-09-15 11:13:39 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65889 +2020-09-15 11:13:39 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65850 +2020-09-15 11:13:40 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/64663 +2020-09-15 11:13:40 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65908 +2020-09-15 11:13:40 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65870 +2020-09-15 11:13:40 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/63857 +2020-09-15 11:13:40 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/63631 +2020-09-15 11:13:40 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/63242 +2020-09-15 11:13:48 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69795 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69786 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69279 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68459 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68971 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68414 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68975 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68427 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/67152 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68418 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66918 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66500 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65858 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65890 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68420 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65909 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65295 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65678 +2020-09-15 11:13:48 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65862 +2020-09-15 11:13:59 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/55831 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/55836 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/55839 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/55841 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/46922 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/46923 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/46924 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/42979 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/42994 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40859 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/42997 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40330 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40327 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/39293 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40306 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40307 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40338 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40309 +2020-09-15 11:13:59 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40310 +2020-09-15 11:14:10 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.chacewang.com/news/PIndex_New?chaPlate=1&citycode=&more=False) +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66899 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66901 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66916 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66903 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66917 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/67281 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66905 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66907 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66497 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66486 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66904 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68422 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66498 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66014 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65854 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65861 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65869 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65853 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65515 +2020-09-15 11:14:11 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65637 +2020-09-15 11:14:19 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.chacewang.com/news/PIndex_New?chaPlate=2&citycode=&more=False) +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62685 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62398 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65888 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62107 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/61458 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/61395 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/61389 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/61396 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/59300 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/58975 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/59298 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/58832 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/58833 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/58091 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/57600 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/57589 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/56711 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/56730 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/56521 +2020-09-15 11:14:19 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/56513 +2020-09-15 11:14:28 [scrapy.extensions.logstats] INFO: Crawled 6 pages (at 6 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:14:31 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.chacewang.com/news/PIndex_New?chaPlate=3&citycode=&more=False) +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65893 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65896 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65900 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65898 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65865 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65902 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/63856 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65857 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65866 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/63386 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62268 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62269 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62271 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62120 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62109 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62115 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/71669 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/61388 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/61391 +2020-09-15 11:14:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/60721 +2020-09-15 11:14:41 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.chacewang.com/news/PIndex_New?chaPlate=4&citycode=&more=False) +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40341 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40342 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40312 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40345 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40346 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40317 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40356 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/32286 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31963 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40357 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31047 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31048 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31049 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31040 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31044 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31050 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31041 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31046 +2020-09-15 11:14:41 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31051 +2020-09-15 11:14:50 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.chacewang.com/news/PIndex_New?chaPlate=4&citycode=&more=False) +2020-09-15 11:14:50 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.chacewang.com/news/NewsDetail/40340> +{'biaoqian': ['科研立项'], + 'biaoti': '2019年度专项项目极地基础科学前沿项目指南', + 'jianjie': '国家自然科学基金委员会现启动“极地基础科学前沿”专项项目, ' + '从冰下基岩和湖泊科学钻探、南极气候环境演化和北极多圈层相互作用三个角度，开展探索极地海-陆-气-冰-生态耦合系统的基础科学问题研究。', + 'laiyuan': '国家自然科学基金委员会', + 'leixing': '申报指南', + 'lianjie': 'https://www.chacewang.com/news/NewsDetail/40340', + 'shijian': '2019-10-24', + 'xiangqing': '
\n' + '

\n' + '\t南北两极作为全球治理新焦点、科技竞争新高地、海上新通道和资源新产地，已成为人类活动发展的“新疆域”以及世界大国经略全球的战略要地。为落实习近平总书记 ' + '“认识南极、保护南极、利用南极”等关于极地的批示精神，充分发挥国家自然科学基金根据国家科技发展战略，吸引和调动全国高等院校、科研机构的力量解决国家重大需求背后的基础科学问题的支撑作用，为突破极地变化预测的关键技术瓶颈奠定理论基础，为我国应对气候变化和参与全球治理提供科学支撑。国家自然科学基金委员会现启动“极地基础科学前沿”专项项目, ' + '从冰下基岩和湖泊科学钻探、南极气候环境演化和北极多圈层相互作用三个角度，开展探索极地海-陆-气-冰-生态耦合系统的基础科学问题研究。\n' + '

\n' + '

\n' + '\t\u2003\u2003一、科学目标\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '发展极地深冰钻、多平台协同观测等技术手段，揭示极地多圈层相互作用过程和机理，评估南极冰盖-冰架-海冰系统的不稳定性及其潜在影响，解析北极快速变化的关键物理-化学-生物过程与主要驱动因素，提高对极地变化的预测能力，增强我国在极地科学领域的学术话语权。\n' + '

\n' + '

\n' + '\t\u2003\u2003二、拟资助研究方向和研究内容\n' + '

\n' + '

\n' + '\t\u2003\u2003（一）东南极古大陆的早期演化\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '基于冰下基岩钻探、各类露头剖面和地球物理方法等，研究南极大陆早期陆核的形成过程及其与澳大利亚、非洲等大陆的亲缘关系，揭示后期大陆块体聚合的时限、过程和机制，构建东南极古大陆从初始成核到最终聚陆的历史框架。\n' + '

\n' + '

\n' + '\t\u2003\u2003（二）南极冰下湖科学钻探选址与研究\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '通过冰雷达和航空遥感等技术手段，开展冰下湖科学钻探选址，对冰层热熔钻孔倾斜和纠斜机理、钻孔闭合及其对钻具冻胀机理、冰下湖体系的理化参数与水质特征进行研究，探索南极冰下湖的形成演化过程和冰下环境的生命形态。\n' + '

\n' + '

\n' + '\t\u2003\u2003（三）南极冰盖结构与动力学模型\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '利用航空遥感和现场观测等技术手段，研究东南极冰盖的冰层结构和底部融水过程，分析冰下地热通量和深部冰温分布，获取冰盖接地线区域的冰下精细地形，构建可靠的冰盖动力学模型，定量估算冰盖的物质平衡和稳定性。\n' + '

\n' + '

\n' + '\t\u2003\u2003（四）东南极海洋环流与冰架的相互作用\n' + '

\n' + '

\n' + '\t\u2003\u2003 ' + '通过高分辨率数值试验和观测资料分析，研究东南极多尺度海洋环流对冰架底部质量平衡的影响、冰架出流水对海洋环境的影响、冰架-海洋界面的边界层过程及其参数化方案，提高对冰架-海洋耦合系统的模拟和预测能力。\n' + '

\n' + '

\n' + '\t\u2003\u2003（五）西南极冰-海相互作用与海洋生态系统\n' + '

\n' + '

\n' + '\t\u2003\u2003 ' + '通过环境与生态的多尺度综合观测、现场实验及数据与模型的综合分析，研究西南极冰-海环境和生态结构的时空变异、冰-海相互作用对海洋过程的调控机理，认知气候变化对生物生产力、种群结构和碳通量的潜在影响。\n' + '

\n' + '

\n' + '\t\u2003\u2003（六）南极海冰变化的机制及影响\n' + '

\n' + '

\n' + '\t\u2003\u2003 ' + '利用耦合模式、卫星遥感数据及资料同化技术，研究南极海冰范围和体积在全球变化背景下的缓变与突变过程及机制，分析海冰变化对南极冰盖和气候系统的影响，为预估南极海冰变化及其全球效应提供科学依据和技术支撑。\n' + '

\n' + '

\n' + '\t\u2003\u2003（七）南极冰盖对全球增温的敏感性\n' + '

\n' + '

\n' + '\t利用资料诊断、理论分析和数值模拟等手段，研究气候变暖对南极冰盖影响的程度、途径、时空变化特征及机理，建立全球增温影响南极冰盖的物理图像，评估南极冰盖对气候变暖响应的敏感性及可能产生的全球效应。\n' + '

\n' + '

\n' + '\t\u2003\u2003（八）北极大气多要素变化观测与诊断研究\n' + '

\n' + '

\n' + '\t\u2003\u2003 ' + '应用先进的地基和星基环境光学装备和技术等，开展北极大气痕量气体组分和气溶胶的长期监测，建立大气环境参数综合分析方法，获得对流层大气关键成分的区域和垂直分布特征，揭示大气辐射强迫对北极快速变化的贡献。\n' + '

\n' + '

\n' + '\t\u2003\u2003（九）北极快速变化的能量过程研究\n' + '

\n' + '

\n' + '\t\u2003\u2003 ' + '通过北极海冰-大气与海冰-海洋界面上的热通量观测与分析，研究北极大气、海洋过程对北极气候系统中能量分布与输运的影响，揭示影响北极快速变化的能量收支关键过程，提升对北极未来变化趋势的预测能力。\n' + '

\n' + '

\n' + '\t\u2003\u2003（十）环北极海洋初级生产过程与生源要素循环\n' + '

\n' + '

\n' + '\t\u2003\u2003 ' + '通过对典型北极海冰快速减退区域走航、船基和遥感观测，冰浮标和潜标周年多要素同步观测，揭示北冰洋营养盐、初级生态过程和浮游植物的变化规律，评估海洋生源要素循环和生物泵过程对北极快速变化的响应和反馈。\n' + '

\n' + '

\n' + '\t\u2003\u2003（十一）环北极海-冰-气界面物质交换及其气候效应\n' + '

\n' + '

\n' + '\t\u2003\u2003 ' + '通过对典型北极海冰快速减退区域走航和冰基观测，获取生源活性气体等挥发性成分和半挥发性成分等物质的海-气或冰-气交换通量, ' + '揭示其时空分布格局、变化趋势、源汇及转化机制，评估其对北极快速变化的响应和反馈。\n' + '

\n' + '

\n' + '\t\u2003\u2003（十二）北极快速变化归因与环境效应研究\n' + '

\n' + '

\n' + '\t\u2003\u2003 ' + '模拟并解析北极海冰快速融化的主要驱动因素，厘清其中自然和人为胁迫的相对贡献。研究极地植被变化及其对区域生物地球化学循环和生物物理特征的影响。定量评估北极海冰融化和极地植被变化对北极区域气候的可能影响。\n' + '

\n' + '

\n' + '\t\u2003\u2003三、项目遴选的基本原则\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '申请人应根据本专项拟解决的具体科学问题和项目指南公布的拟资助研究方向，自行拟定项目名称、科学目标、研究内容、技术路线和相应的研究经费等。\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '除按照撰写提纲的要求外，申请书内容还须体现如下几个方面：（1）申请项目为实现总体科学目标的贡献；（2）针对指南中研究方向拟重点突破的科学问题、达到的研究目标或技术指标；（3）为实现总体科学目标和多学科集成需要，申请人应承诺在研究材料、基础数据和实验平台上的项目集群共享。\n' + '

\n' + '

\n' + '\t\u2003\u2003四、资助计划\n' + '

\n' + '

\n' + '\t\u2003\u2003 ' + '本专项项目资助期限为4年，申请书中的研究期限应填写“2020年1月1日-2023年12月31日”，2019年专项项目拟资助12项，直接费用平均资助强度约350万元/项。\n' + '

\n' + '

\n' + '\t\u2003\u2003五、申请要求及注意事项\n' + '

\n' + '

\n' + '\t\u2003\u2003（一）申请条件。\n' + '

\n' + '

\n' + '\t\u2003\u2003本专项项目申请人应当具备以下条件：\n' + '

\n' + '

\n' + '\t\u2003\u20031. 具有承担基础研究课题的经历；\n' + '

\n' + '

\n' + '\t\u2003\u20032. 具有高级专业技术职务（职称）；\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '在站博士后研究人员、正在攻读研究生学位以及无工作单位或者所在单位不是依托单位的人员不得作为申请人进行申请。\n' + '

\n' + '

\n' + '\t\u2003\u2003（二）限项申请规定。\n' + '

\n' + '

\n' + '\t\u2003\u20031. ' + '本专项项目申请时不计入高级专业技术职务（职称）人员申请和承担总数3项的范围；正式接收申请到国家自然科学基金委员会作出资助与否决定之前，以及获得资助后，计入高级专业技术职务（职称）人员申请和承担总数3项的范围。\n' + '

\n' + '

\n' + '\t\u2003\u20032.申请人和参与者只能申请或参与申请1项本专项项目。\n' + '

\n' + '

\n' + '\t\u2003\u20033. 申请人同年只能申请1项专项项目中的研究项目。\n' + '

\n' + '

\n' + '\t\u2003\u2003（三）申请注意事项。\n' + '

\n' + '

\n' + '\t\u2003\u20031.申请书报送日期为2019年11月25日-27日16时。\n' + '

\n' + '

\n' + '\t\u2003\u20032.本专项项目申请书采用在线方式撰写。对申请人具体要求如下：\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '（1）申请人在填报申请书前，应当认真阅读本申请须知、本项目指南和《2019年度国家自然科学基金项目指南》的相关内容，不符合项目指南和相关要求的申请项目不予受理。\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '（2）本专项项目旨在紧密围绕核心科学问题，将对多学科相关研究进行战略性的方向引导和优势整合，成为一个专项项目集群。申请人应根据本专项拟解决的具体科学问题和项目指南公布的拟资助研究方向，自行拟定项目名称、科学目标、研究内容、技术路线和相应的研究经费等。\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '（3）申请人登录科学基金网络信息系统https://isisn.nsfc.gov.cn/（没有系统账号的申请人请向依托单位基金管理联系人申请开户），按照撰写提纲及相关要求撰写申请书。\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '（4）申请书中的资助类别选择“专项项目”，亚类说明选择“研究项目”，附注说明选择“科学部综合研究项目”,申请代码1应当选择地球科学部相应的申请代码。以上选择不准确或未选择的项目申请将不予受理。申请项目名称可以不同于研究方向名称，但应属该方向所辖之内的研究领域。每个专项项目的依托单位和合作研究单位数合计不得超过3个；主要参与者必须是项目的实际贡献者，不超过9人。\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '（5）请按照“专项项目-研究项目申请书撰写提纲”撰写申请书时，请在申请书正文开头注明“2019年度专项项目极地基础科学前沿之研究方向：XXX（按照上述12个研究方向之一填写）”。\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '申请书应突出有限目标和重点突破，明确对实现本专项项目总体目标和解决核心科学问题的贡献。\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '如果申请人已经承担与本专项项目相关的其他科技计划项目，应当在申请书正文的“研究基础与工作条件”部分论述申请项目与其他相关项目的区别与联系。\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '（6）申请人应当认真阅读《2019年度国家自然科学基金项目指南》中预算编报须知的内容，严格按照《国家自然科学基金资助项目资金管理办法》《关于国家自然科学基金资助项目资金管理有关问题的补充通知》（财科教〔2016〕19号）以及《国家自然科学基金项目资金预算表编制说明》的要求，认真如实编报《国家自然科学基金项目资金预算表》。\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '（7）申请人完成申请书撰写后，在线提交电子申请书及附件材料，下载打印最终PDF版本申请书，并保证纸质申请书与电子版内容一致。\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '（8）申请人应及时向依托单位提交签字后的纸质申请书原件以及其他特别说明要求提交的纸质材料原件等附件。\n' + '

\n' + '

\n' + '\t\u2003\u20033. ' + '依托单位应对本单位申请人所提交申请材料的真实性和完整性进行审核，并在规定时间内将申请材料报送国家自然科学基金委员会。具体要求如下：\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '（1）应在规定的项目申请截止日期前提交本单位电子版申请书及附件材料，并统一报送经单位签字盖章后的纸质申请书原件（一式一份）及要求报送的纸质附件材料。\n' + '

\n' + '

\n' + '\t\u2003\u2003（2）提交电子版申请书时，应通过信息系统逐项确认。\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '（3）报送纸质申请材料时，还应包括由法定代表人签字、依托单位加盖公章的依托单位科研诚信承诺书（请在信息系统中下载）和申请项目清单，材料不完整不予接收。\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '（4）可将纸质申请材料直接送达或邮寄至国家自然科学基金委员会项目材料接收工作组。采用邮寄方式的，请在项目申请截止时间前（以发信邮戳日期为准）以快递方式邮寄，以免延误申请，并在信封左下角注明“专项项目申请材料”。\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '4.申请书由国家自然科学基金委员会项目材料接收工作组负责接收，材料接收工作组联系方式如下：\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '通讯地址：北京市海淀区双清路83号国家自然科学基金委员会项目材料接收工作组（行政楼101房间）\n' + '

\n' + '

\n' + '\t\u2003\u2003邮\u2003\u2003编：100085\n' + '

\n' + '

\n' + '\t\u2003\u2003联系电话：010-62328591\n' + '

\n' + '

\n' + '\t\u2003\u20035.本专项项目咨询方式：\n' + '

\n' + '

\n' + '\t\u2003\u2003国家自然科学基金委员会地球科学部综合与战略规划处\n' + '

\n' + '

\n' + '\t\u2003\u2003联系电话：010-62327157\n' + '

\n' + '

\n' + '\t\u2003\u2003（四）其他注意事项。\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '1.为实现专项总体科学目标，获得资助的项目负责人应当承诺遵守相关数据和资料管理与共享的规定，项目执行过程中须关注与本专项其他项目之间的相互支撑关系。\n' + '

\n' + '

\n' + '\t\u2003\u2003' + '2.为加强项目之间的学术交流，促进专项项目集群的形成和多学科交叉，本专项项目集群将设专项项目总体指导组和管理协调组，每年举办一次资助项目的年度学术交流会，并将不定期地组织相关领域的学术研讨会。获资助项目负责人必须参加上述学术交流活动，并认真开展学术交流。\n' + '

\n' + '

\n' + ' 原文链接:\n' + '

\n' + '

\n' + ' http://www.nsfc.gov.cn/publish/portal0/tab442/info76520.htm\n' + '

\n' + '\n' + '
\n' + '
'} +2020-09-15 11:14:50 [root] INFO: 插入完成 +2020-09-15 11:14:59 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.chacewang.com/news/PIndex_New?chaPlate=3&citycode=&more=False) +2020-09-15 11:14:59 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.chacewang.com/news/NewsDetail/74898> +{'biaoqian': ['商贸物流'], + 'biaoti': '关于印发《推动物流业制造业深度融合创新发展实施方案》的通知(发改经贸〔2020〕1315号)', + 'jianjie': '国家发展改革委会同工业和信息化部等部门和单位研究制定了《推动物流业制造业深度融合创新发展实施方案》，现印发给你们，请认真贯彻执行。', + 'laiyuan': '发改委', + 'leixing': '政策动态', + 'lianjie': 'https://www.chacewang.com/news/NewsDetail/74898', + 'shijian': '2020-09-09', + 'wenjian': ['《推动物流业制造业深度融合创新发展实施方案》', + 'https://www.chacewang.com/Home/OssDownload/upload/NewsWordUpload/《推动物流业制造业深度融合创新发展实施方案》_20200910.pdf', + '/2020/09/78niIbLK_《推动物流业制造业深度融合创新发展实施方案》_20200910.pdf'], + 'xiangqing': '
\n' + '
\n' + '\t
\n' + '\t
\n' + '\t
\n' + '\t\t各省、自治区、直辖市及计划单列市、新疆生产建设兵团发展改革委、工业和信息化主管部门、公安厅、财政厅、自然资源主管部门、交通运输厅（局、委）、农业农村（农牧）厅（局、委）、商务厅（局、委）、市场监管局（厅、委）、银保监局，各地区铁路监督管理局，民航各地区管理局，邮政管理局，各铁路局集团公司：\n' + '\t
\n' + '\u2003\u2003' + '为贯彻落实党中央、国务院关于推动高质量发展的决策部署，做好“六稳”工作，落实“六保”任务，进一步推动物流业制造业深度融合、创新发展，推进物流降本增效，促进制造业转型升级，国家发展改革委会同工业和信息化部等部门和单位研究制定了《推动物流业制造业深度融合创新发展实施方案》，现印发给你们，请认真贯彻执行。
\n' + '
\n' + '\t
\n' + '\t\t国家发展改革委\n' + '\t
\n' + '\n' + '\t
\n' + '\t\t工业和信息化部\n' + '\t
\n' + '\n' + '\t
\n' + '\t\t公安部\n' + '\t
\n' + '\n' + '\t
\n' + '\t\t财政部\n' + '\t
\n' + '\n' + '\t
\n' + '\t\t自 然 资 源 部\n' + '\t
\n' + '\n' + '\t
\n' + '\t\t交 通 运 输 部\n' + '\t
\n' + '\n' + '\t
\n' + '\t\t农 业 农 村 部\n' + '\t
\n' + '\n' + '\t
\n' + '\t\t商务部\n' + '\t
\n' + '\n' + '\t
\n' + '\t\t市场监管总局\n' + '\t
\n' + '\n' + '\t
\n' + '\t\t银\u2003保\u2003监\u2003会\n' + '\t
\n' + '\n' + '\t
\n' + '\t\t国 家 铁 路 局\n' + '\t
\n' + '\n' + '\t
\n' + '\t\t民航局\n' + '\t
\n' + '\n' + '\t
\n' + '\t\t国 家 邮 政 局\n' + '\t
\n' + '\n' + '\t
\n' + '\t\t中国国家铁路集团有限公司\n' + '\t
\n' + '\n' + '\t
\n' + '\t\t2020年8月22日\n' + '\t
\n' + '\n' + '\t
\n' + '\t
\n' + '
\n' + '

\n' + ' 附件:\n' + '

\n' + '

\n' + ' 《推动物流业制造业深度融合创新发展实施方案》\n' + '
\n' + '

\n' + '

\n' + ' 原文链接:\n' + '

\n' + '

\n' + ' https://www.ndrc.gov.cn/xwdt/tzgg/202009/t20200909_1237849.html\n' + '

\n' + '\n' + '
\n' + '
'} +2020-09-15 11:14:59 [root] INFO: 插入完成 +2020-09-15 11:15:04 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:15:05 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6188 +2020-09-15 11:15:05 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=1&citycode=RegisterArea_HBDQ_Shanxi_DaTongShi&more=False----这个就是一页啊 +2020-09-15 11:15:14 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.chacewang.com/News/PIndex_New?searchText=&pageindex=1&pageSize=20&chaPlate=4&citycode=&cityJudge=) +2020-09-15 11:15:15 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.chacewang.com/news/NewsDetail/31052> +{'biaoqian': ['科研立项', '重大项目'], + 'biaoti': '关于发布大气细颗粒物的毒理与健康效应重大研究计划2019年度项目指南的通告', + 'jianjie': '国家自然科学基金委员会现发布“大气细颗粒物的毒理与健康效应”重大研究计划2019年度项目指南，请申请人及依托单位按项目指南中所述的要求和注意事项申请。', + 'laiyuan': '国家自然科学基金委员会', + 'leixing': '申报指南', + 'lianjie': 'https://www.chacewang.com/news/NewsDetail/31052', + 'shijian': '2019-08-16', + 'xiangqing': '
\n' + '
    \n' + '\t
    \n' + '\t\t
    \n' + '\t\t\t\n' + '\t\t\t

    \n' + '\t\t\t\t' + '国家自然科学基金委员会现发布“大气细颗粒物的毒理与健康效应”重大研究计划2019年度项目指南，请申请人及依托单位按项目指南中所述的要求和注意事项申请。\n' + '\t\t\t

    \n' + '    \n' + '\t\t
    \n' + '\t
    \n' + '\t

    \n' + '\t\t

    \n' + '\t\t\t

    \n' + '\t\t\t\t大气细颗粒物的毒理与健康效应重大研究计划2019年度项目指南\n' + '\t\t\t

    \n' + '\t\t\n' + '\t\n' + '\t

    \n' + '\t\t

    \n' + '\t\t\t\n' + '\t\t\t

      \n' + '\t\t\t\t
      \n' + '\t\t\t\t\t
      \n' + '\t\t\t\t\t\t \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t' + '结合我国大气污染特点，重点开展大气细颗粒物的毒理机制与健康危害研究，促进我国环境污染与健康领域研究的跨越发展，满足保护环境、改善民生的重大战略需求。本重大研究计划拟组织化学、环境、毒理学、生命、医学等多学科领域专家进行系统的基础研究和合作攻关，通过理论与方法学创新，在探明细颗粒物关键致毒组分与毒性机理的基础上，研究其生物效应和与健康危害相关的影响机制。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003一、科学目标\xa0\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '本重大研究计划拟围绕大气细颗粒物毒理机制与健康危害重大科学问题，解析雾霾关键毒性成分及其来源和暴露途径；提出并建立个体水平和人群水平暴露评估的方法，阐明我国雾霾高发地区大气细颗粒物污染的暴露特征；寻找并利用代谢组、遗传和表观遗传生物标志物，解析细颗粒物对关键信号路径的扰动作用，诠释我国特征大气细颗粒物毒性组分的生物学效应和毒理学机制；揭示大气细颗粒物可能诱发的机体应答与机体损伤作用机理，阐明大气细颗粒物污染与相关疾病的联系及其可能的影响机制。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003二、核心科学问题\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '本重大研究计划的核心科学问题是“大气细颗粒物的毒性组分、毒理机制与健康危害”。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003（一）典型区域大气细颗粒物毒性组分及暴露研究方法学。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003（二）大气细颗粒物毒性组分的生物学效应与毒理学机制。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003（三）大气细颗粒物的健康危害效应。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003三、2019年度重点资助研究方向\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u20032019年拟在前四年资助项目的基础上，对以下方向进行集成：\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003“大气细颗粒物毒性组分的生物学效应与毒理学机制”\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '结合大气细颗粒物毒性组分和主要健康结局，利用多组学等现代毒理学技术，解析大气细颗粒物与生物大分子相互作用机制及其对关键信号路径的扰动作用；诠释我国特征大气细颗粒物毒性组分的生物学效应和毒理学机制；揭示大气细颗粒物可能诱发的机体应答与机体损伤作用机理。 ' + '\xa0\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003四、项目遴选的基本原则\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '2019年度只接收集成项目申请，申请人应根据本重大研究计划拟解决的具体科学问题和项目指南公布的拟资助研究方向，在认真总结和系统梳理本重大研究计划已有相关成果和进展、明确新的提升突破点的基础上，自行拟定项目名称、科学目标、研究内容、技术路线和相应的研究经费等。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '申请书内容应体现如下几个方面：①在集成方向相关领域近期取得的主要进展；②通过集成拟重点突破的研究内容、拟达到的研究目标或技术指标；③为实现总体科学目标和多学科集成的需要，申请人应承诺在研究材料、基础数据和实验平台上的共享。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003五、2019年度资助计划\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '2019年度拟资助集成项目1项，资助期限为3年，直接费用平均资助强度为1200万元/项（由指导专家和评审专家组根据目标凝练和评议情况确定资助额度）。申请书中的研究期限应填写“2020年1月1日-2022年12月31日”。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003六、申请要求及注意事项\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003（一）申请条件。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003本重大研究计划项目申请人应当具备以下条件：\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u20031.具有承担基础研究课题的经历；\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u20032.具有高级专业技术职务（职称）。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '在站博士后研究人员、正在攻读研究生学位以及无工作单位或者所在单位不是依托单位的人员不得作为申请人进行申请。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003（二）限项申请规定。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '具有高级专业技术职务（职称）的人员，申请或参与申请本次发布的重大研究计划集成项目不限项。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003（三）申请注意事项。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u20031.申请书报送日期为2019年9月16日- 9月20日16时。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u20032.项目申请书采用在线方式撰写。对申请人具体要求如下：\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '（1）申请人在填报申请书前，应当认真阅读本项目指南和《2019年度国家自然科学基金项目指南》中申请须知和限项申请规定的相关内容，不符合项目指南和相关要求的申请项目不予受理。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '（2）本重大研究计划旨在紧密围绕核心科学问题，将对多学科相关研究进行战略性的方向引导和优势整合，成为一个项目集群。申请人应根据本重大研究计划拟解决的具体科学问题和项目指南公布的拟资助研究方向，自行拟定项目名称、科学目标、研究内容、技术路线和相应的研究经费等。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '（3）申请人登录科学基金网络信息系统https://isisn.nsfc.gov.cn/（没有系统账号的申请人请向依托单位基金管理联系人申请开户），按照撰写提纲及相关要求撰写申请书。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '（4）申请书中的资助类别选择“重大研究计划”，亚类说明选择“集成项目”，附注说明选择“大气细颗粒物的毒理与健康效应”，根据申请的具体研究内容选择相应的申请代码。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003集成项目的合作研究单位不得超过4个。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '（5）申请人应当按照重大研究计划申请书的撰写提纲撰写申请书，应突出有限目标和重点突破，明确对实现本重大研究计划总体目标和解决核心科学问题的贡献。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '申请集成项目要求在本指南公布的集成方向下确定研究内容,各研究内容之间应突出相互合作、协调和有机联系，真正实现集成所确立的研究方向和目标。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '如果申请人已经承担与本重大研究计划相关的其他科技计划项目，应当在报告正文的“研究基础”部分论述申请项目与其他相关项目的区别与联系。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '（6）申请人应当认真阅读《2019年度国家自然科学基金项目指南》中预算编报须知的内容，严格按照《国家自然科学基金资助项目资金管理办法》《项目资金管理有关问题的补充通知》以及《国家自然科学基金项目资金预算表编制说明》的具体要求，按照“目标相关性、政策相符性、经济合理性”的基本原则，认真编制《国家自然科学基金项目预算表》。多个单位共同承担一个项目的，项目申请人和合作研究单位的参与者应当分别编制项目预算，经所在单位审核后，由申请人汇总编制。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '（7）申请人完成申请书撰写后，在线提交电子申请书及附件材料，下载打印最终PDF版本申请书，并保证纸质申请书与电子版内容一致。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '（8）申请人应及时向依托单位提交签字后的纸质申请书原件以及其他特别说明要求提交的纸质材料原件等附件。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '3.依托单位应对本单位申请人所提交申请材料的真实性、完整性和合规性进行审核；对申请人申报预算的目标相关性、政策相符性和经济合理性进行审核，并在规定时间内将申请材料报送国家自然科学基金委员会。具体要求如下：\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '（1）应在规定的项目申请截止日期（2019年9月20日16时）前提交本单位电子版申请书及附件材料，并统一报送经单位签字盖章后的纸质申请书原件（一式一份）及要求报送的纸质附件材料。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003（2）提交电子版申请书时，应通过信息系统逐项确认。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '（3）报送纸质申请材料时，还应提供由法定代表人签字、依托单位加盖公章的依托单位科研诚信承诺书，并附申请项目清单，材料不完整不予接收。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '（4）可将纸质申请材料直接送达或邮寄至国家自然科学基金委员会项目材料接收工作组。采用邮寄方式的，请在项目申请截止时间前（以发信邮戳日期为准）以快递方式邮寄，以免延误申请，并在信封左下角注明“重大研究计划项目申请材料”。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '4.申请书由国家自然科学基金委员会项目材料接收工作组负责接收，材料接收工作组联系方式如下：\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '通讯地址：北京市海淀区双清路83号，国家自然科学基金委员会项目材料接收工作组（行政楼101房间）\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003邮\u2003\u2003编：100085\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003联系电话：010-62328591\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u20035.本重大研究计划咨询方式：\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003国家自然科学基金委员会 化学科学部\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003联系电话：010-62327173\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003（四）其他注意事项。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '1.为实现重大研究计划总体科学目标和多学科集成，获得资助的项目负责人应当承诺遵守相关数据和资料管理与共享的规定，项目执行过程中应关注与本重大研究计划其他项目之间的相互支撑关系。\n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t

      \n' + '\t\t\t\t\t\t\t\u2003\u2003' + '2.为加强项目的学术交流，促进项目群的形成和多学科交叉与集成，本重大研究计划将每年举办一次资助项目的年度学术交流会，并将不定期地组织相关领域的学术研讨会。获资助项目负责人有义务参加本重大研究计划指导专家组和管理工作组所组织的上述学术交流活动。\n' + '\t\t\t\t\t\t

      \n' + '      \n' + '\t\t\t\t\t
      \n' + '\t\t\t\t
      \n' + '\t\t\t
    \n' + '
    \n' + '\n' + '\t\t

    \n' + '\t\n' + '
\n' + '

\n' + ' 原文链接:\n' + '

\n' + '

\n' + ' http://www.nsfc.gov.cn/publish/portal0/tab442/info76220.htm\n' + '

\n' + '\n' + '
\n' + '
'} +2020-09-15 11:15:15 [root] INFO: 插入完成 +2020-09-15 11:15:28 [scrapy.extensions.logstats] INFO: Crawled 12 pages (at 6 pages/min), scraped 3 items (at 3 items/min) +2020-09-15 11:15:31 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:15:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/7275 +2020-09-15 11:15:31 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=2&citycode=RegisterArea_HBDQ_Shanxi_DaTongShi&more=False----这个就是一页啊 +2020-09-15 11:15:37 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:15:37 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=3&citycode=RegisterArea_HBDQ_Shanxi_DaTongShi&more=False----没有发布过内容 +2020-09-15 11:15:44 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:15:44 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6192 +2020-09-15 11:15:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6189 +2020-09-15 11:15:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6193 +2020-09-15 11:15:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6195 +2020-09-15 11:15:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6190 +2020-09-15 11:15:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6194 +2020-09-15 11:15:45 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=4&citycode=RegisterArea_HBDQ_Shanxi_DaTongShi&more=False----这个就是一页啊 +2020-09-15 11:15:56 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:15:57 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=1&citycode=RegisterArea_HBDQ_Shanxi_YangQuanShi&more=False----没有发布过内容 +2020-09-15 11:16:07 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:16:08 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6205 +2020-09-15 11:16:08 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=2&citycode=RegisterArea_HBDQ_Shanxi_YangQuanShi&more=False----这个就是一页啊 +2020-09-15 11:16:18 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:16:18 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=3&citycode=RegisterArea_HBDQ_Shanxi_YangQuanShi&more=False----没有发布过内容 +2020-09-15 11:16:27 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:16:27 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=4&citycode=RegisterArea_HBDQ_Shanxi_YangQuanShi&more=False----没有发布过内容 +2020-09-15 11:16:28 [scrapy.extensions.logstats] INFO: Crawled 19 pages (at 7 pages/min), scraped 3 items (at 0 items/min) +2020-09-15 11:16:39 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:16:39 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/9357 +2020-09-15 11:16:39 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=1&citycode=RegisterArea_HBDQ_Shanxi_JinZhongShi&more=False----这个就是一页啊 +2020-09-15 11:16:47 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:16:47 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/7283 +2020-09-15 11:16:47 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/7279 +2020-09-15 11:16:47 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6523 +2020-09-15 11:16:47 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6296 +2020-09-15 11:16:47 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=2&citycode=RegisterArea_HBDQ_Shanxi_JinZhongShi&more=False----这个就是一页啊 +2020-09-15 11:16:58 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:16:58 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=3&citycode=RegisterArea_HBDQ_Shanxi_JinZhongShi&more=False----没有发布过内容 +2020-09-15 11:17:12 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:17:12 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=4&citycode=RegisterArea_HBDQ_Shanxi_JinZhongShi&more=False----没有发布过内容 +2020-09-15 11:17:20 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:17:20 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=1&citycode=RegisterArea_HBDQ_Shanxi_XinZhouShi&more=False----没有发布过内容 +2020-09-15 11:17:28 [scrapy.extensions.logstats] INFO: Crawled 24 pages (at 5 pages/min), scraped 3 items (at 0 items/min) +2020-09-15 11:17:31 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:17:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/7697 +2020-09-15 11:17:31 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/5416 +2020-09-15 11:17:31 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=2&citycode=RegisterArea_HBDQ_Shanxi_XinZhouShi&more=False----这个就是一页啊 +2020-09-15 11:17:39 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:17:39 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=3&citycode=RegisterArea_HBDQ_Shanxi_XinZhouShi&more=False----没有发布过内容 +2020-09-15 11:17:51 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:17:51 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=4&citycode=RegisterArea_HBDQ_Shanxi_XinZhouShi&more=False----没有发布过内容 +2020-09-15 11:17:51 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:17:51 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:17:51 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 11933, + 'downloader/request_count': 27, + 'downloader/request_method_count/GET': 27, + 'downloader/response_bytes': 322847, + 'downloader/response_count': 27, + 'downloader/response_status_count/200': 27, + 'elapsed_time_seconds': 263.132746, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 17, 51, 420381), + 'item_scraped_count': 3, + 'log_count/DEBUG': 30, + 'log_count/INFO': 209, + 'request_depth_max': 2, + 'response_received_count': 27, + 'scheduler/dequeued': 27, + 'scheduler/dequeued/memory': 27, + 'scheduler/enqueued': 27, + 'scheduler/enqueued/memory': 27, + 'start_time': datetime.datetime(2020, 9, 15, 3, 13, 28, 287635)} +2020-09-15 11:17:51 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:15 [scrapy.extensions.telnet] INFO: Telnet Password: a15e61896a902e76 +2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:15 [root] INFO: 我是RundomUserAgentMiddleware +2020-09-16 08:47:15 [root] INFO: 我是DingZhiCookieMiddleware +2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'demo1.middlewares.RundomUserAgentMiddleware', + 'demo1.middlewares.DingZhiCookieMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.MysqlYiBUPipeline'] +2020-09-16 08:47:15 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:15 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:15 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6024 +2020-09-16 08:47:15 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'DOWNLOAD_DELAY': 1, + 'LOG_FILE': 'logs/gongyehexinxihuabu_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} diff --git a/demo1/logs/fagaiwei_2020_9.log b/demo1/logs/fagaiwei_2020_9.log new file mode 100644 index 0000000..4bfcc67 --- /dev/null +++ b/demo1/logs/fagaiwei_2020_9.log @@ -0,0 +1,413 @@ +2020-09-15 11:21:50 [scrapy.extensions.telnet] INFO: Telnet Password: 3b5a2054bf5cce72 +2020-09-15 11:21:50 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:21:50 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:21:50 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:21:50 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 11:21:50 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:21:50 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:21:50 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:21:50 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:21:50 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200826_1236873.html +2020-09-15 11:21:50 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200824_1236679.html +2020-09-15 11:21:50 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200820_1236352.html +2020-09-15 11:21:50 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200820_1236353.html +2020-09-15 11:21:50 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200818_1236238.html +2020-09-15 11:21:50 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200811_1235815.html +2020-09-15 11:21:50 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200811_1235817.html +2020-09-15 11:21:50 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200810_1235755.html +2020-09-15 11:21:50 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200807_1235742.html +2020-09-15 11:21:50 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200806_1235650.html +2020-09-15 11:21:50 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200805_1235592.html +2020-09-15 11:21:50 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200803_1235506.html +2020-09-15 11:21:50 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200804_1235517.html +2020-09-15 11:21:51 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202007/t20200731_1235247.html +2020-09-15 11:21:51 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202007/t20200731_1235241.html +2020-09-15 11:21:51 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202007/t20200731_1235150.html +2020-09-15 11:21:51 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202007/t20200731_1235153.html +2020-09-15 11:21:51 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202007/t20200731_1235257.html +2020-09-15 11:21:51 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202007/t20200731_1235148.html +2020-09-15 11:21:51 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202007/t20200728_1234739.html +2020-09-15 11:21:51 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202007/t20200728_1234637.html +2020-09-15 11:21:51 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.ndrc.gov.cn/xxgk/zcfb/tz/index.html) +2020-09-15 11:21:51 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.ndrc.gov.cn/xxgk/zcfb/tz/202009/t20200915_1238749.html> +{'biaoti': '关于村庄建设项目施行简易审批的指导意见(发改农经〔2020〕1337号)', + 'laiyuan': '发改委', + 'lianjie': 'https://www.ndrc.gov.cn/xxgk/zcfb/tz/202009/t20200915_1238749.html', + 'shijian': '2020-09-15', + 'xiangqing': '
\n' + '
关于村庄建设项目施行简易审批的指导意见

发改农经〔2020〕1337号

各省、自治区、直辖市及计划单列市、新疆生产建设兵团发展改革委、自然资源主管部门、农业农村（农牧）厅（局、委）：
\u2003\u2003' + '人居环境、农村供水、村内道路、文化体育等村庄建设项目量大面广，投资规模较小，技术方案相对简单，建设内容较为单一。对于按照固定资产投资管理的小型村庄建设项目施行简易审批，优化审批程序，简化报批内容，改进审批方式，有利于提高审批实效，节省报批成本，加快项目推进实施，有利于推动生态宜居美丽乡村建设，尽快补上全面小康“三农”领域突出短板。现就村庄建设项目施行简易审批提出以下意见：
\u2003\u2003' + '一、把握村庄建设项目施行简易审批的基本原则
\u2003\u2003' + '村庄建设项目施行简易审批，要坚持规划引领、统筹谋划，守好耕地和生态保护红线，合理确定村庄建设项目布局，有序推进美丽乡村建设；坚持务实管用、便捷高效，结合不同地区和领域实际，出台行之有效的操作办法，解决各方面反映突出的难点堵点；坚持依法依规、循序渐进，在法治框架下探索完善优化审批流程和审批内容，并为推进相关政策法规修订积累经验；坚持各方协同、创新模式，通过部门间信息联通和业务协作，构建适应新时代特点的新型审批服务体系。
\u2003\u2003' + '二、明确简易审批适用范围
\u2003\u2003' + '根据《政府投资条例》，具有审批权限的地方投资主管部门要会同有关部门，重点围绕生活垃圾污水、厕所粪污处理、村容村貌提升等农村人居环境建设，以及农村供排水、村内道路、文化体育等村庄建设领域，结合本地区实际制定并发布施行简易审批的村庄建设项目范围。鼓励对村域内实施的村庄建设项目施行简易审批。投资规模较大、技术方案相对复杂的工程，以及关系人民群众生命财产安全的房屋修造类、能源类等项目，不得适用简易审批。已经纳入城市一体管理的村庄，按照有关规定执行。
\u2003\u2003' + '三、简化审批程序和审批环节
\u2003\u2003' + '对于适用简易审批的政府直接投资项目，地方投资主管部门要简化审批程序，可以采取审批可行性研究报告的方式，合并办理项目建议书、可行性研究报告、初步设计等审批环节。经批准的可行性研究报告，作为项目招标采购、建设实施和竣工验收的依据。对于企业投资项目，项目单位应当按照有关规定办理核准、备案手续。审批、核准、备案等投资决策程序完成后，方可履行资金申请和审批程序，并在资金申请报告中列明项目基本情况、前期工作完成情况、申请资金的政策依据等内容。各地要依法研究简化项目开工前涉及的用地、规划等审批事项办理程序。使用集体建设用地开展建设的，项目单位无须办理建设项目用地预审与选址意见书。鼓励地方各级政府采取区域综合评估方式，取代对单个项目进行评价，支持采取容缺后补、告知承诺等便利化措施，依法取消和减少村庄建设项目需要办理的审批事项。
\u2003\u2003' + '四、创新审批服务方式
\u2003\u2003' + '鉴于适用简易审批村庄建设项目单体规模偏小、技术相对简单，允许地方结合实际，将小型村庄建设项目涉及的审批事项依法委托乡镇政府实施。提倡简化申报材料，实行一窗受理、综合办理，通过并联审批压缩办理时限，探索开展部门联办、全程帮办，切实加快村庄建设项目推动进度。地方投资主管部门应当会同有关部门制订并通过投资项目在线审批监管平台发布和实施村庄建设项目简易审批流程，并探索以互联网、手机APP等方式，为项目单位提供在线办理、进度查询等服务，不断提升审批服务水平。
\u2003\u2003' + '五、合理确定前期工作深度要求
\u2003\u2003' + '对于适用简易审批的村庄建设项目，要在加强论证、确保质量的前提下，根据行业规程规范，区分项目类型明确前期工作深度要求。可行性研究报告一般包括建设内容及规模、建设性质、建设地址、建设工期，布置图，投资规模、资金来源与落实情况，覆盖村组范围及服务人口、管护方式，村民会议或者村民代表会议、村民小组会议决议意见，以及法律法规明确的其他内容。各地不得在法律法规之外，自行设立其他证明材料或审查意见。地方行业主管部门要结合本地区实际和本领域特点，商同级投资主管部门制定可行性研究报告申报范本，允许项目单位自行编制可行性研究报告，鼓励采用表单方式明确文本内容，着力消除模糊和兜底条款，避免机械套用、简单比照城市建设项目。
\u2003\u2003' + '六、落实国家招标投标等政策规定
\u2003\u2003' + '严格执行招标投标法及其实施条例、政府采购法及其实施条例以及《必须招标的工程项目规定》（国家发展改革委令2018年第16号），使用国有资金投资的各类村庄建设项目，施工单项合同估算价不超过400万元，重要设备、材料等货物采购单项合同估算价不超过200万元，勘察、设计、监理等服务采购单项合同估算价不超过100万元的，可依法不进行招标。整县整乡推进的村庄建设项目，其子项目由不同项目法人组织建设实施，且该子项目达不到必须招标的规模标准的，可以不进行招标。对利用扶贫资金实行以工代赈、需要使用农民工等特殊情况，按照国家有关规定可以不进行招标。对于采取招标方式的项目，不得在法律法规外，针对投资规模、工程造价、招标文件编制等设立其他审批审核程序。对于依法不进行招标的项目，要建立完善项目村民决策监督和建设主体责任追究机制，确保项目实施公平公正、公开透明，防止暗箱操作、利益输送等情况发生。要加强项目质量管理，严格按照合同开展验收。
\u2003\u2003' + '七、发挥村民决策和建设主体作用
\u2003\u2003' + '谋划实施项目，应当采取座谈调研、入户调查等方式听取村民诉求，充分尊重村民意愿，保障村民参与集体决策。对于安排政府投资资金的村庄建设项目，要综合考虑村庄实际和工作基础，确定项目法人单位。具备条件的，可以由村民委员会、村集体经济组织等作为项目法人。以行政村为基本单元实施的村庄建设项目，鼓励项目法人组织村民投工投劳、就地取材等开展建设。支持将政府投资村庄建设项目产权划归村集体经济组织，由其承担管护责任，鼓励地方对管护费用给予适当补助，并采取“门前三包”、使用者协会等形式，引导受益农民通过认领等方式参与管护，确保村庄建设项目长期有效运行。
\u2003\u2003' + '八、强化保障措施确保政策落地落实
\u2003\u2003' + '地方各级投资主管部门会同有关部门要把村庄建设项目施行简易审批摆上议事日程，加强组织领导，深入研究谋划，细化配套措施，以流程优化、内容简化、时限缩减为目标，推动村庄建设项目审批流程再造。地方各级尤其是县级行业主管部门要发挥贴近基层的优势，加强技术服务、工作指导和监督管理，确保村庄建设项目质量。各地要创新监管机制，加强权力运行公开，有效防控项目管理、实施等环节的廉政风险。要及时梳理总结村庄建设项目简易审批方面取得的新进展、新成效，宣传典型案例，推广经验做法，增进村级组织、农民群众等对相关工作的理解支持，为加快村庄建设项目实施，提高农村基础设施水平营造良好氛围。

国家发展改革委
自 ' + '然 资 源 部
农 业 农 村 ' + '部
2020年8月27日

\n' + '
附件：

\n' + '\n' + '

'} +2020-09-15 11:21:52 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.ndrc.gov.cn/xxgk/zcfb/tz/index.html) +2020-09-15 11:21:53 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.ndrc.gov.cn/xxgk/zcfb/tz/202009/t20200909_1237860.html> +{'biaoti': '关于组织开展行业协会商会经营服务性收费清理规范工作的通知(发改办价格〔2020〕632号)', + 'laiyuan': '发改委', + 'lianjie': 'https://www.ndrc.gov.cn/xxgk/zcfb/tz/202009/t20200909_1237860.html', + 'shijian': '2020-09-09', + 'xiangqing': '
\n' + '
国家发展改革委办公厅关于组织开展行业
协会商会经营服务性收费清理规范工作的通知

发改办价格〔2020〕632号

工业和信息化部、民政部、财政部、自然资源部、人民银行、国资委、市场监管总局、银保监会、证监会办公厅（室），各省、自治区、直辖市发展改革委：
\u2003\u2003' + '为持续深化“放管服”改革，进一步优化营商环境，根据《国务院办公厅关于进一步规范行业协会商会收费的通知》（国办发〔2020〕21号）要求，现就组织开展行业协会商会收费清理规范工作有关事项通知如下：
\u2003\u2003' + '一、清理规范的目标
\u2003\u2003' + '围绕行业协会商会经营服务性收费存在的突出问题，按照突出重点、分类规范的原则，通过深入清理规范，进一步打破服务垄断，坚决取消违法违规收费，提升收费规范性和透明度，降低偏高收费，切实降低实体经济运行成本。
\u2003\u2003' + '二、清理规范的措施
\u2003\u2003' + '各部门要组织本行业内协会商会对收取的经营服务性等收费进行梳理，包括收费项目、收费内容、收费依据、收费主体、收费对象、收费标准、收费金额等。在此基础上对照相关法律法规和政策规定，对收费事项进行认真分析，按照以下要求开展清理规范工作。
\u2003\u2003' + '（一）打破服务垄断。各部门要清理行业内协会商会开展的垄断性和强制性的服务项目，通过放开准入条件、引入多元化服务主体等方式实现服务价格市场化。对暂时无法破除垄断的，由行业协会商会按合理合法、补偿成本、略有盈余的原则确定收费标准，并经会员（代表）大会或理事会投票表决通过。
\u2003\u2003' + '（二）取消违法违规收费项目。各部门应要求行业内协会商会收取会费的同时，明确所提供的基本服务项目，对提供的基本服务项目不得以有偿服务的形式另行收费，不得利用自身的强势地位强制服务并收费，全面清理取消不符合法律法规及相关政策规定收取的入会费、赞助费、会议费、培训费、考试费、评比表彰费等收费，并退还违法违规所得。
\u2003\u2003' + '（三）降低收费标准。对收费标准偏高、盈余较多、使用不透明、企业与社会反映较强的部分重点领域，特别是银行、证券、保险、基金、期货、资产评估等履行法定职责的行业协会商会，各部门要组织开展成本审核，督促其综合考虑服务成本、会员经营状况、承受能力、行业发展水平等因素制定收费标准，降低偏高收费。\xa0\xa0' + '
\u2003\u2003' + '（四）规范收费行为。各部门应要求行业协会商会按照法律法规关于经营者义务的相关规定和自愿有偿服务的原则，在宗旨和业务范围内开展有偿服务活动，规范相关收费行为，按照公平、合法、诚实守信的原则，公允确定并公开收费项目和标准，提供质价相符的服务。
\u2003\u2003' + '三、清理规范的组织实施
\u2003\u2003' + '（一）提高对清理规范工作的认识。此次清理规范工作时间紧、任务重，各地方、各部门要充分认识清理规范行业协会商会收费工作对减轻企业和社会负担的重要意义，结合实际和自身职责，进一步细化任务分工，明确时间表、路线图，确保各项任务落到实处，清理规范措施务求取得实效。
\u2003\u2003' + '（二）集中公示行业协会商会收费。各部门要在清理规范的基础上，指导制定完善行业内协会商会服务规范，细化服务流程，提高服务质量，并要求行业协会商会于11月30日前在“信用中国”网站对清理规范后的收费情况进行公示，增加政策透明度，接受社会监督，未经公示的收费项目一律不得收取。
\u2003\u2003' + '（三）及时报送清理规范情况。各地方、各部门要全面总结评估此次行业协会商会收费清理规范情况，将打破服务垄断、取消收费项目、降低收费标准、合计减负金额等情况梳理总结，形成书面材料（附光盘）于11月30日前报送国家发展改革委（价格司）。
\u2003\u2003' + '（四）开展随机抽查复核。国家发展改革委将对各部门报送的清理规范情况进行汇总梳理，结合行业协会商会收费公示情况，会同相关部门针对发现的突出问题，选择部分行业协会商会进行抽查复核，深入了解实际收费情况。对抽查复核中发现的问题，将会同相关部门共同明确处理原则，提出具体处理意见，切实规范收费行为。
\u2003\u2003' + '联系人：卢\xa0 博\xa0 \xa068501724\xa0\xa0
\u2003\u2003\u2003\u2003\u2003\u2003李\xa0 硕\xa0 \xa0' + '68501921

国家发展改革委办公厅
2020年8月21日

\n' + '
附件：

\n' + '\n' + '

'} +2020-09-15 11:21:54 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.ndrc.gov.cn/xxgk/zcfb/tz/index.html) +2020-09-15 11:21:54 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.ndrc.gov.cn/xxgk/zcfb/tz/202009/t20200909_1237841.html> +{'biaoti': '关于印发《推动物流业制造业深度融合创新发展实施方案》的通知(发改经贸〔2020〕1315号)', + 'laiyuan': '发改委', + 'lianjie': 'https://www.ndrc.gov.cn/xxgk/zcfb/tz/202009/t20200909_1237841.html', + 'shijian': '2020-09-09', + 'wenjian': [{'file_name': '《推动物流业制造业深度融合创新发展实施方案》', + 'file_url': 'https://www.ndrc.gov.cn/xxgk/zcfb/tz/202009/P020200909333031287206.pdf', + 'new_file': '/2020/09/QtppfyVD_P020200909333031287206.pdf'}], + 'xiangqing': '
\n' + '
关于印发《推动物流业制造业
深度融合创新发展实施方案》的通知
\xa0
发改经贸〔2020〕1315号
\xa0
各省、自治区、直辖市及计划单列市、新疆生产建设兵团发展改革委、工业和信息化主管部门、公安厅、财政厅、自然资源主管部门、交通运输厅（局、委）、农业农村（农牧）厅（局、委）、商务厅（局、委）、市场监管局（厅、委）、银保监局，各地区铁路监督管理局，民航各地区管理局，邮政管理局，各铁路局集团公司：
\u2003\u2003' + '为贯彻落实党中央、国务院关于推动高质量发展的决策部署，做好“六稳”工作，落实“六保”任务，进一步推动物流业制造业深度融合、创新发展，推进物流降本增效，促进制造业转型升级，国家发展改革委会同工业和信息化部等部门和单位研究制定了《推动物流业制造业深度融合创新发展实施方案》，现印发给你们，请认真贯彻执行。

国家发展改革委
工业和信息化部
公\u2003\u2003安\u2003\u2003部
财\u2003\u2003政\u2003\u2003' + '部
自 然 资 源 ' + '部
交 通 运 输 ' + '部
农 业 农 村 ' + '部
商\u2003\u2003' + '务\u2003\u2003部
市场监管总局
银\u2003保\u2003监\u2003会
国 家 铁 路 局
民\u2003\u2003航\u2003\u2003' + '局
国 家 邮 政 ' + '局
中国国家铁路集团有限公司
2020年8月22日
\xa0
\n' + '
附件：

\n' + '《推动物流业制造业深度融合创新发展实施方案》\n' + '

'} +2020-09-15 11:21:55 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.ndrc.gov.cn/xxgk/zcfb/tz/index.html) +2020-09-15 11:21:55 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.ndrc.gov.cn/xxgk/zcfb/tz/202009/t20200904_1237640.html> +{'biaoti': '关于促进航空货运设施发展的意见(发改基础〔2020〕1319号)', + 'laiyuan': '发改委', + 'lianjie': 'https://www.ndrc.gov.cn/xxgk/zcfb/tz/202009/t20200904_1237640.html', + 'shijian': '2020-09-04', + 'xiangqing': '
\n' + '
国家发展改革委 ' + '民航局
关于促进航空货运设施发展的意见

发改基础〔2020〕1319号

各省、自治区、直辖市及计划单列市、新疆生产建设兵团发展改革委，民航各地区管理局:
\u2003\u2003' + '为深入贯彻落实国务院常务会议精神，稳定产业链和供应链，针对新冠肺炎疫情防控中暴露出我国航空货运体系存在的问题，加快补齐航空货运短板和弱项，促进我国航空货运设施发展，现提出以下意见：
\u2003\u2003' + '一、总体要求
\u2003\u2003' + '（一）重要意义。
\u2003\u2003' + '航空货运是国家重要的战略性资源，具有承运货物附加值高、快捷高效等特点，在应急处突、抢险救灾、军事保障等方面具有重要作用。随着我国经济由高速增长阶段转向高质量发展阶段，电子商务和快递物流业持续快速增长，航空快件比例上升，企业经营模式由货物运输为主向全产业链延伸，传统航空货运企业逐步向提供全流程服务的航空物流企业转变，新兴的航空物流企业不断涌现，迅速成长。航空货运的专业化、物流化发展趋势，对航空货运设施的布局、运行环境和效率提出了更高要求。促进航空货运设施发展，对集聚和优化航空要素资源配置、提升航空货运企业国际竞争力、促进民航业和物流业持续健康发展具有重要意义，是深化航空业供给侧结构性改革的必然选择，是航空业转型升级实现高质量发展的重要途径。各有关方面要充分认识促进航空货运设施发展的重要意义，适应发展形势，加强研究论证，促进我国航空货运和物流业有序健康发展。
\u2003\u2003' + '（二）指导思想。
\u2003\u2003' + '以习近平新时代中国特色社会主义思想为指导，全面贯彻党的十九大和十九届二中、三中、四中全会精神，坚持以人民为中心，坚持新发展理念。以深化供给侧结构性改革为主线，以货运市场需求为导向，聚焦航空货运设施发展短板和弱项，提高国际航空货运能力，畅通供应链、稳定产业链。坚持统筹兼顾、多措并举，优化资源配置，强化要素保障，充分利用既有机场的货运设施能力，科学有序推进专业性货运枢纽机场布局建设。统筹民航与铁路、公路、水运等多种交通运输方式的有效衔接和一体化协同发展，着力提升航空货运设施专业化运营能力和服务质量，逐步构建功能完善、布局合理、衔接顺畅的航空货运设施布局和通达全球的航空货运网络体系。大力培育航空货运企业，支持航空公司扩大货运机队规模，更好服务我国经济社会发展和人民美好生活对现代化航空物流的需要。
\u2003\u2003' + '（三）基本原则。
\u2003\u2003' + '市场主导、政府引导。始终坚持市场导向，充分发挥市场配置资源的决定性作用和更好发挥政府作用，坚持市场主导、企业主体、政府支持的理念，有力有序促进航空货运设施发展。
\u2003\u2003' + '融合发展、积极创新。充分整合各种资源，加强航空与物流新业态、新模式的深度融合，提升航空货运供给质量，适应我国物流供应链发展需求，逐步形成航空货运网络系统，培育航空运输的新增长点，形成新动能。
\u2003\u2003' + '客货并举、协同发展。转变“重客轻货”观念，培育专业化航空物流企业，提升货物运输专业化水平，推进机场客货并举、协同发展，打造具有国际竞争力的航空货运枢纽。
\u2003\u2003' + '盘活存量、优化增量。对已具备航空货运优势的机场，进一步优化完善货运设施布局和运行环境，提升效率、效益和竞争力。鼓励有条件的既有支线机场强化和提升货运功能，稳妥有序推进专业性货运枢纽机场建设。
\u2003\u2003' + '（四）主要目标。
\u2003\u2003' + '近期2025年，建成湖北鄂州专业性货运枢纽机场，优化完善北京、上海、广州、深圳等综合性枢纽机场货运设施，充分挖掘既有综合性机场的货运设施能力，结合空港型国家物流枢纽建设，研究提出由综合性枢纽机场和专业性货运枢纽机场共同组成的航空货运枢纽规划布局。
\u2003\u2003' + '展望2035年，在全国范围内建成1-2个专业性货运枢纽机场，并结合《全国民用运输机场布局规划》修订，进一步完善国际航空货运枢纽布局，综合性枢纽机场和专业性货运枢纽机场布局相辅相成、更加成熟。培育若干具备国际竞争力的大型航空物流企业，覆盖全球的航空货运网络骨架初步形成，航空货运发展核心要素资源配置进一步优化，设施布局进一步完善，效益显著提高，综合保障能力大幅提升，成为服务国家重大战略、促进经济结构转型升级、深度参与国际合作、推动我国经济高质量发展的有力支撑。
\u2003\u2003' + '二、完善提升综合性机场货运设施能力和服务品质
\u2003\u2003' + '（一）提高综合性机场现有货运设施能力和利用率。统筹机场客货运区域的规划、建设、运营和管理。既有机场应合理布局货运设施，充分利用既有货运资源，可通过货运设施改扩建、扩大货运区域进深尺度、合理区分全货机和客机腹舱带货区、顺畅货运车辆进出通道等措施，提升机场内货物运输的便捷性以及快速运输的高效性。新建机场应集中布局货机站坪、货运库等货运设施，优化机坪与货运设施距离和货运流线，确保场内货运组织便捷通畅。
\u2003\u2003' + '（二）优化机场货物运输组织。加强货运枢纽机场之间的货运航线联系，鼓励结合实际需求开展空空中转等业务，充分利用客机腹舱、卡车航班、货运班列等资源，编织多层次的航空货物运输网络。建设便捷高效的机场集疏运系统，建立综合运输管理协调机制，优化运输组织实施方案，搭建综合交通信息共享及发布平台，实现货物便捷中转和快速集散。
\u2003\u2003' + '（三）提升机场货运服务品质。完善前端收运核查，积极推动运单电子化，强化地面服务科技集成和信息化应用，优化简化货运安检流程，完善机场口岸联检设施，加强专用设备配套，不断提高通关效率。积极引入国内外航空货运处理专业力量，按照快捷高效、准时可控的要求简化货运流程，打造机场高质量货运服务体系。
\u2003\u2003' + '（四）强化机场内外设施的协同联动。鼓励在航空业务规模较大或具备条件的机场周边规划设立临空经济区，集聚发展临空产业，符合要求的推动建设临空经济示范区、综合保税区，缩短货运设施与临空经济区和综合保税区的间距，推进机场与临空经济区、综合保税区规划建设和设施运行的高水平联动，实现区港一体化运营，提高通关效率，降低物流成本，充分发挥航空物流业引擎作用，加快形成航空物流与临空经济区之间相互促进、相互提升的共同发展态势。
\u2003\u2003' + '三、稳妥有序推进专业性货运枢纽机场建设
\u2003\u2003' + '（一）充分遵循航空货运发展规律。借鉴国际航空货运枢纽发展成功经验，结合我国航空货运发展基础和实际，多方面深化发展认知，先试点，再总结，后推广，不盲目铺摊子，不贪大求全。总结鄂州货运枢纽建设和运营经验，“十四五”期间研究提出专业性货运枢纽机场规划布局，结合市场需求稳妥有序推进建设。
\u2003\u2003' + '（二）符合民用运输机场布局规划。支持将有条件的既有支线机场打造为专业性货运枢纽机场。新建专业性货运枢纽机场，应从《全国民用运输机场布局规划》中选取，并按照国家和民航行业关于民用运输机场建设的相关规定，履行民用运输机场基本建设程序。
\u2003\u2003' + '（三）引入专业化航空运输企业。专业性货运枢纽机场可引入拥有全货机机队的专业化航空物流企业，由其出资建设机场专业化货运设施，并作为主基地航空公司运营。航空物流企业可与地方政府或机场签订合资合作文件，共同制定中长期运营发展规划。驻场运行全货机数量原则上大于20架。
\u2003\u2003' + '（四）具备良好的发展条件。专业性货运枢纽机场周边空域条件良好，土地发展空间充足，满足长远发展需要。机场所在地区位优势突出，有利于构建中枢辐射式航线网络体系，且产业基础良好。综合交通运输体系较为完善，便于组织多式联运，实现货物快速集散。
\u2003\u2003' + '四、全面提升航空货运设施使用效能
\u2003\u2003' + '（一）完善飞机引进政策。优化机队结构，适应航空货运企业的发展需求，采取更加灵活的全货机引进政策，鼓励通过融资租赁、购买以及湿租等方式增加货机，支持货运航空公司壮大机队规模，发展全货机运输。
\u2003\u2003' + '（二）持续改善空域条件。推进国家空域管理体制改革，扩大空域资源供给，推进空域灵活高效使用，依据区域特色优势和资源禀赋，结合机场功能定位，持续优化航空货运航线和时刻资源配置，加大航权开放力度，简化货运航班审批程序，为航空货运发展释放更大空间。
\u2003\u2003' + '（三）培育航空货运企业。鼓励航空货运企业与快递物流企业打破所有制限制，加快培育具有国际竞争力的大型快递物流企业，以大型快递物流企业为主体，以其组建的货运航空公司为主基地航空公司，参与主导专业性货运枢纽机场规划、建设和运营。研究优化整合国内航空公司全货机机队资源和市场资源，培育航空货运超级承运人，提升国际航空货运市场竞争力。
\u2003\u2003' + '（四）提升机场管理水平。建设航空物流公共信息平台，支持加快开展航空电子货运试点，研究构建“单一窗口”空港通关系统，提升航空货运信息化、标准化水平，加快民航与铁路、公路等物流标准对接，推动航空物流操作标准、信息标准、运行标准和设备标准的建设工作。加强大数据、云计算、人工智能、区块链等新技术在机场货运中的综合运用，鼓励科技创新、业务创新、管理创新，努力实现资源优化配置和精细化、智能化管控，共同打造专业化、现代化的航空物流体系。
\u2003\u2003' + '五、保障措施
\u2003\u2003' + '（一）加强主体责任落实。发展改革部门要加强对设施布局、综合交通方式的统筹协调，做好规划政策整合。民航行业管理部门要加强对航空货运设施建设发展的行业管理和指导，统筹把握发展进程和行业标准制定，减少无序竞争和重复建设。积极发挥民航行业协会和社会团体的管理、服务和协调作用，有力支持航空货运设施持续健康发展。切实强化航空运输企业和机场公司在航空货运发展方面的协作合作，实现共商共建共享共赢。
\u2003\u2003' + '（二）做好资源要素保障。坚持机场的公共基础设施属性，鼓励地方政府加大对机场货运及其重要配套设施的规划选址、土地使用、建设运营等要素支持，严格规划用地预留和控制，统筹综合交通基础设施布局，落实《国家发展改革委关于促进枢纽机场联通轨道交通的意见》，同步规划临空物流园区等配套设施建设。
\u2003\u2003' + '（三）创新设施融资模式。鼓励借鉴国际经验，由地方政府、机场公司、航空物流企业以及社会资本多方合作，采取BOT、BOO、BOOT等多种模式开发建设和管理货运设施，由航空物流企业出资建设适合自身运营发展需要的转运中心、航空货站、仓储设施等，实施专业化运营。
\u2003\u2003' + '（四）强化专业人才培养。加大民航管理技术人才、航空物流专业人才培养以及科技研发投入支持力度，鼓励科研机构建立航空物流研究方向和航空物流领域行业智库，充分发挥专业智库在航空货运发展中的政策咨询和技术支持作用，提升航空物流企业和机场货运设施运营管理能力和水平。

国家发展改革委
民\u2003\u2003航\u2003\u2003局
2020年8月24日

\n' + '
附件：

\n' + '\n' + '

'} +2020-09-15 11:21:55 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:21:55 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:21:55 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 1518, + 'downloader/request_count': 5, + 'downloader/request_method_count/GET': 5, + 'downloader/response_bytes': 34621, + 'downloader/response_count': 5, + 'downloader/response_status_count/200': 5, + 'elapsed_time_seconds': 5.371551, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 21, 55, 791302), + 'item_scraped_count': 4, + 'log_count/DEBUG': 9, + 'log_count/INFO': 32, + 'request_depth_max': 1, + 'response_received_count': 5, + 'scheduler/dequeued': 5, + 'scheduler/dequeued/memory': 5, + 'scheduler/enqueued': 5, + 'scheduler/enqueued/memory': 5, + 'start_time': datetime.datetime(2020, 9, 15, 3, 21, 50, 419751)} +2020-09-15 11:21:55 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet Password: 3a984af3a603947f +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-16 08:47:16 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:16 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6028 +2020-09-16 08:47:16 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'DOWNLOAD_DELAY': 1, + 'LOG_FILE': 'logs/wenhuahelvyoubu_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} diff --git a/demo1/logs/fazhancujinju_2020_9.log b/demo1/logs/fazhancujinju_2020_9.log new file mode 100644 index 0000000..8d0e714 --- /dev/null +++ b/demo1/logs/fazhancujinju_2020_9.log @@ -0,0 +1,208 @@ +2020-09-15 10:49:28 [scrapy.extensions.telnet] INFO: Telnet Password: d9426dcc597a68e4 +2020-09-15 10:49:28 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 10:49:29 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 10:49:29 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 10:49:29 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 10:49:29 [scrapy.core.engine] INFO: Spider opened +2020-09-15 10:49:29 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 10:49:29 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 10:49:29 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200128/8882.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200914/10731.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200911/10719.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200907/10684.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200902/10659.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200901/10647.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200831/10634.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200828/10617.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200826/10606.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200825/10593.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200824/10581.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200819/10540.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200817/10529.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200817/10524.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200814/10513.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200813/10498.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200812/10491.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200812/10490.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200812/10492.html +2020-09-15 10:49:29 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200810/10474.html +2020-09-15 10:49:29 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 10:49:29 [root] INFO: 爬虫运行完毕了 +2020-09-15 10:49:29 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 245, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 21572, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 0.559779, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 2, 49, 29, 679066), + 'log_count/DEBUG': 1, + 'log_count/INFO': 31, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 15, 2, 49, 29, 119287)} +2020-09-15 10:49:29 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-15 10:51:05 [scrapy.extensions.telnet] INFO: Telnet Password: 6319e42fc51397f0 +2020-09-15 10:51:05 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 10:51:05 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 10:51:05 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 10:51:05 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 10:51:05 [scrapy.core.engine] INFO: Spider opened +2020-09-15 10:51:05 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 10:51:05 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 10:51:05 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 10:51:10 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200128/8882.html +2020-09-15 10:52:41 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200914/10731.html +2020-09-15 10:53:03 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200911/10719.html +2020-09-15 11:23:14 [scrapy.extensions.telnet] INFO: Telnet Password: 908b6b91a251874b +2020-09-15 11:23:14 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:23:14 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:23:14 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:23:14 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 11:23:14 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:23:14 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:23:14 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:23:14 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:23:14 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200128/8882.html +2020-09-15 11:23:14 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200914/10731.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200911/10719.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200907/10684.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200902/10659.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200901/10647.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200831/10634.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200828/10617.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200826/10606.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200825/10593.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200824/10581.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200819/10540.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200817/10529.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200817/10524.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200814/10513.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200813/10498.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200812/10491.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200812/10490.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200812/10492.html +2020-09-15 11:23:15 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200810/10474.html +2020-09-15 11:23:15 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:23:15 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:23:15 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 245, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 21572, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 0.65274, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 23, 15, 347368), + 'log_count/DEBUG': 1, + 'log_count/INFO': 31, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 15, 3, 23, 14, 694628)} +2020-09-15 11:23:15 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet Password: 66d535e49cbb95b0 +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-16 08:47:16 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:16 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6031 +2020-09-16 08:47:16 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'DOWNLOAD_DELAY': 1, + 'LOG_FILE': 'logs/sxkejiting_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} diff --git a/demo1/logs/gongyehexinxihuabu_2020_9.log b/demo1/logs/gongyehexinxihuabu_2020_9.log new file mode 100644 index 0000000..85ed679 --- /dev/null +++ b/demo1/logs/gongyehexinxihuabu_2020_9.log @@ -0,0 +1,1549 @@ +2020-09-15 11:12:13 [scrapy.extensions.telnet] INFO: Telnet Password: 9474ef1a90f20869 +2020-09-15 11:12:13 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:12:13 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:12:13 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:12:13 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.gongyehexinxihuabuPipline'] +2020-09-15 11:12:13 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:12:13 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:12:13 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:12:13 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:12:14 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.miit.gov.cn/gdnps/wjfbindex.jsp) +2020-09-15 11:12:14 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.miit.gov.cn/gdnps/searchIndex.jsp?params=%257B%2522goPage%2522%253A1%252C%2522orderBy%2522%253A%255B%257B%2522orderBy%2522%253A%2522publishTime%2522%252C%2522reverse%2522%253Atrue%257D%252C%257B%2522orderBy%2522%253A%2522orderTime%2522%252C%2522reverse%2522%253Atrue%257D%255D%252C%2522pageSize%2522%253A10%252C%2522queryParam%2522%253A%255B%257B%257D%252C%257B%257D%252C%257B%2522shortName%2522%253A%2522fbjg%2522%252C%2522value%2522%253A%2522%252F1%252F29%252F1146295%252F1652858%252F1652930%2522%257D%255D%257D&callback=jQuery111108461701558527148_1600139533585&_=1600139533586> +{'biaoti': '四部门关于举办2020年全国行业职业技能竞赛——全国工业互联网安全技术技能大赛的通知', + 'laiyuan': '工信部网络安全管理局', + 'lianjie': 'http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757016/c8080871/content.html', + 'shijian': '2020-09-14', + 'wenjian': [{'file_name': '1.2020年全国行业职业技能竞赛——全国工业互联网安全技术技能大赛组委会及办公室成员名单', + 'file_url': 'http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757016/c8080871/part/8080882.wps', + 'new_file': '/2020/09/ROrJSsiq_8080882.wps'}, + {'file_name': '2.联系人回执', + 'file_url': 'http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757016/c8080871/part/8080883.wps', + 'new_file': '/2020/09/FagwmAnv_8080883.wps'}], + 'xiangqing': '


工业和信息化部 人力资源社会保障部 中华全国总工会 共青团中央
关于举办2020年全国行业职业技能竞赛——全国工业互联网安全技术技能大赛的通知

  
工信部联网安函〔2020〕214号


各省、自治区、直辖市及新疆生产建设兵团工业和信息化主管部门、人力资源社会保障厅（局）、工会、团委，各省、自治区、直辖市通信管理局，部分国有重要骨干企业，相关单位：

\u3000\u3000' + '

为深入实施工业互联网创新发展战略，大力培育高素质网络安全技术技能人才队伍，加快推进工业互联网安全保障体系建设，弘扬精益求精的工匠精神，工业和信息化部、人力资源社会保障部、中华全国总工会、共青团中央决定共同举办“2020年全国行业职业技能竞赛——全国工业互联网安全技术技能大赛”。有关事项通知如下：

\u3000\u3000' + '

一、组织领导

\u3000\u3000

本次大赛为一类职业技能大赛。大赛成立组委会，负责大赛的整体安排和组织管理工作。组委会成员由主办单位领导及相关部门、单位、行业协会负责同志担任。组委会下设办公室，具体负责大赛组织安排和日常管理工作，办公室设在中国信息通信研究院、工业和信息化部教育与考试中心。

\u3000\u3000' + '

大赛决赛由中国信息通信研究院、工业和信息化部教育与考试中心、中国工业互联网研究院、国家工业信息安全发展研究中心、中国互联网协会、江苏省工业和信息化厅、江苏省通信管理局、南京市人民政府共同承办。

\u3000\u3000

二、竞赛内容

\u3000\u3000

竞赛由理论知识考试和技能操作考核两部分组成。其中，理论知识占20%，技能操作占80%。竞赛内容紧密结合企业生产实际场景和工业互联网安全技术应用发展状况，重点考察参赛选手在工业互联网网络、设备、控制、平台、应用、数据等方面的安全测试、评估、运维、保障以及完成指定任务的理论和技术水平。具体赛程及要求由大赛组委会办公室另行通知。

\u3000\u3000

三、竞赛组织方式

\u3000\u3000

（一）竞赛分组。

\u3000\u3000' + '

竞赛分为职工组、教师组和学生组，各组别均为三人团体赛。

\u3000\u3000' + '

1.职工组：具有工业互联网安全技术应用相关工作经历的企业在职人员。

\u3000\u3000' + '

2.教师组：具有工业互联网安全技术应用相关工作经历的高等院校、职业学校（含技工院校，下同）在职人员。

\u3000\u3000' + '

3.学生组：高等院校、职业学校相关专业全日制在籍学生。

\u3000\u3000

（二）报名条件。

\u3000\u3000' + '

1.思想品德优秀；

\u3000\u3000' + '

2.具备较高的工业互联网安全技术技能水平；

\u3000\u3000' + '

3.学习能力较强，身体素质好；

\u3000\u3000' + '

4.具备较好的心理素质和较强的应变能力；

\u3000\u3000' + '

5.已获得“中华技能大奖”“全国技术能手”称号及在2019年国家级一类大赛获得前5名（双人赛项前3名、三人赛项前2名）、国家级二类竞赛获得前3名（双人赛项前2名、三人赛项第1名）且为职工身份的人员，不得以选手身份参赛。具有全日制学籍的在校创业学生不得以职工身份参赛。

\u3000\u3000

（三）竞赛方式及名额。

\u3000\u3000

大赛分选拔赛（预选赛）和决赛两个阶段。

\u3000\u3000

选拔赛由各省（区、市）及新疆生产建设兵团工业和信息化主管部门、人力资源社会保障厅（局）、工会、团委以及地方通信管理局等相关单位联合组织实施。举办选拔赛的省（区、市）及新疆生产建设兵团可各选派7支队伍（职工组3支，教师组2支，学生组2支）参加决赛。不具备举办选拔赛条件的省（区、市）及新疆生产建设兵团可组织参赛队伍参加预选赛。此外，本次大赛拟邀请部分国有重要骨干企业独立举办选拔赛，举办选拔赛的企业可选派2支队伍参加决赛，不具备举办选拔赛条件的企业可组织参赛队伍参加预选赛。

\u3000\u3000' + '

预选赛和决赛在大赛组委会领导下，由大赛组委会办公室具体组织实施。

\u3000\u3000

四、决赛时间和地点

\u3000\u3000' + '

大赛决赛拟于2020年11月上旬在江苏省南京市举办，采取线下赛形式。具体时间和地点另行通知。

\u3000\u3000' + '

五、表彰奖励

\u3000\u3000' + '

（一）职工组。全国决赛决出一等奖5名，二等奖10名，三等奖若干名。

\u3000\u3000' + '

1.获得全国决赛前2名的选手，经人力资源社会保障部核准后，授予“全国技术能手”称号。

\u3000\u3000' + '

2.获一等奖第一名并符合推荐条件的选手，由选手所在省（区、市）及新疆生产建设兵团总工会在次年度向全国总工会按程序优先推荐“全国五一劳动奖章”。

\u3000\u3000' + '

3.获一等奖前2名，且年龄在35周岁及以下符合条件的选手，按程序向共青团中央推荐授予“全国青年岗位能手”称号。

\u3000\u3000' + '

4.获奖选手由组委会颁发相应奖金、奖杯和荣誉证书。

\u3000\u3000

（二）教师组。全国决赛决出一等奖5名，二等奖10名，三等奖若干名。

\u3000\u3000' + '

1.获一等奖前2名的选手，经人力资源社会保障部核准后，授予“全国技术能手”荣誉。

\u3000\u3000' + '

2.获一等奖前2名，且年龄在35周岁及以下符合条件的选手，按程序向共青团中央推荐授予“全国青年岗位能手”称号。

\u3000\u3000' + '

3.获奖选手由组委会颁发相应奖金、奖杯和荣誉证书。

\u3000\u3000

（三）学生组。全国决赛决出一等奖5名，二等奖10名，三等奖若干名。获奖选手由组委会颁发相应奖金、奖杯和荣誉证书。

\u3000\u3000

（四）团体奖励。对贡献突出的协办单位和支持单位，由组委会颁发“突出贡献奖”。对组织工作表现突出的单位，由组委会颁发“优秀组织奖”。对在全国决赛中总成绩优异的单位，由组委会颁发“团体总分奖”。对在全国决赛中总成绩突出的地区，由组委会颁发“区域优胜奖”。对在全国决赛中综合表现突出的企业，由组委会颁发“企业优胜奖”。对在全国决赛中综合表现突出的院校，由组委会颁发“院校优胜奖”。

\u3000\u3000

六、有关要求

\u3000\u3000

（一）请各省（区、市）及新疆生产建设兵团工业和信息化主管部门、通信主管部门以及国有重要骨干企业会同人力资源社会保障厅（局）、总工会、团委等相关部门，按照大赛组委会的统一部署，统筹考虑新冠肺炎疫情防控要求，认真做好组织工作，保证此次大赛顺利进行。

\u3000\u3000' + '

（二）请各省（区、市）及新疆生产建设兵团工业和信息化主管部门、通信主管部门以及国有重要骨干企业指定1名大赛联系人，于9月18日前将联系人信息（见附件2）报送大赛组委会办公室。

\u3000\u3000' + '

（三）大赛组委会办公室要按照国家及决赛举办地江苏省和南京市疫情防控要求，提前制定大赛决赛期间应对疫情的工作应急预案，明确各类情况下的具体应对措施。应急预案应在决赛举办前15个工作日在大赛官网公开发布。各省（区、市）及新疆生产建设兵团相关部门、各有关单位和参赛队伍应按照应急预案和具体要求做好赛事组织、疫情防控和竞赛工作。

\u3000\u3000

七、大赛组委会办公室联系方式

  ' + '

联系人：程妍010-62308870 ' + '

\u3000\u3000\u3000\u3000齐季010-62305930 ' + '

\u3000\u3000\u3000\u3000陈涛010-68607757 ' + '

传\u3000' + '真：010-62300264 ' + '010-68607700

电子邮箱：chinaiisc@163.com

通讯地址：北京市海淀区花园北路52号（邮编：100191）

\u3000\u3000' + '

附件：1.2020年全国行业职业技能竞赛——全国工业互联网安全技术技能大赛组委会及办公室成员名单
\u3000\u3000\u3000\u3000\u3000' + '2.联系人回执

'} +2020-09-15 11:12:14 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.miit.gov.cn/gdnps/searchIndex.jsp?params=%257B%2522goPage%2522%253A1%252C%2522orderBy%2522%253A%255B%257B%2522orderBy%2522%253A%2522publishTime%2522%252C%2522reverse%2522%253Atrue%257D%252C%257B%2522orderBy%2522%253A%2522orderTime%2522%252C%2522reverse%2522%253Atrue%257D%255D%252C%2522pageSize%2522%253A10%252C%2522queryParam%2522%253A%255B%257B%257D%252C%257B%257D%252C%257B%2522shortName%2522%253A%2522fbjg%2522%252C%2522value%2522%253A%2522%252F1%252F29%252F1146295%252F1652858%252F1652930%2522%257D%255D%257D&callback=jQuery111108461701558527148_1600139533585&_=1600139533586> +{'biaoti': '中华人民共和国工业和信息化部公告2020年第37号', + 'laiyuan': '工信部科技司', + 'lianjie': 'http://www.miit.gov.cn/n1146295/n1652858/n1652930/n4509607/c8080504/content.html', + 'shijian': '2020-09-14', + 'wenjian': [{'file_name': '230项行业标准编号、名称、主要内容等一览表', + 'file_url': 'http://www.miit.gov.cn/n1146295/n1652858/n1652930/n4509607/c8080504/part/8080528.doc', + 'new_file': '/2020/09/7gydzuiM_8080528.doc'}], + 'xiangqing': '

工业和信息化部批准《卫星通信链路大气和降雨衰减计算方法》等230项行业标准（标准编号、名称、主要内容及实施日期见附件），其中通信行业标准62项、石化行业标准5项、建材行业标准2项、机械行业标准88项、制药装备行业标准8项、汽车行业标准8项、航空行业标准29项、船舶行业标准2项、轻工行业标准26项，现予公布。

\u3000\u3000' + '以上通信行业标准由人民邮电出版社出版，石化行业标准由中国石化出版社出版，建材行业标准由中国建材工业出版社出版，机械行业标准由机械工业出版社出版，制药装备行业标准由中国标准出版社出版，汽车行业标准由北京科学技术出版社出版，航空行业标准由中国航空综合技术研究所组织出版，船舶行业标准由中国船舶工业综合技术经济研究院组织出版，轻工行业标准由中国轻工业出版社出版。
 

附件：230项行业标准编号、名称、主要内容等一览表
 

工业和信息化部
2020年8月31日


'} +2020-09-15 11:12:14 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.miit.gov.cn/gdnps/searchIndex.jsp?params=%257B%2522goPage%2522%253A1%252C%2522orderBy%2522%253A%255B%257B%2522orderBy%2522%253A%2522publishTime%2522%252C%2522reverse%2522%253Atrue%257D%252C%257B%2522orderBy%2522%253A%2522orderTime%2522%252C%2522reverse%2522%253Atrue%257D%255D%252C%2522pageSize%2522%253A10%252C%2522queryParam%2522%253A%255B%257B%257D%252C%257B%257D%252C%257B%2522shortName%2522%253A%2522fbjg%2522%252C%2522value%2522%253A%2522%252F1%252F29%252F1146295%252F1652858%252F1652930%2522%257D%255D%257D&callback=jQuery111108461701558527148_1600139533585&_=1600139533586> +{'biaoti': '关于印发《推动物流业制造业深度融合创新发展实施方案》的通知', + 'laiyuan': '工信部运行监测协调局', + 'lianjie': 'http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757016/c8074778/content.html', + 'shijian': '2020-09-09', + 'wenjian': [{'file_name': '推动物流业制造业深度融合创新发展实施方案', + 'file_url': 'http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757016/c8074778/part/8074797.pdf', + 'new_file': '/2020/09/F8IFlUI0_8074797.pdf'}], + 'xiangqing': '

各省、自治区、直辖市及计划单列市、新疆生产建设兵团发展改革委、工业和信息化主管部门、公安厅、财政厅、自然资源主管部门、交通运输厅（局、委）、农业农村（农牧）厅（局、委）、商务厅（局、委）、市场监管局（厅、委）、银保监局，各地区铁路监督管理局，民航各地区管理局，邮政管理局，各铁路局集团公司：

 

为贯彻落实党中央、国务院关于推动高质量发展的决策部署，做好“六稳”工作，落实“六保”任务，进一步推动物流业制造业深度融合、创新发展，推进物流降本增效，促进制造业转型升级，国家发展改革委会同工业和信息化部等部门和单位研究制定了《推动物流业制造业深度融合创新发展实施方案》，现印发给你们，请认真贯彻执行。

 

附件：推动物流业制造业深度融合创新发展实施方案 ' + '

 

' + '

国家发展改革委
工业和信息化部
公安部
财政部
自然资源部
交通运输部
农业农村部
商务部
市场监管总局
银保监会
国家铁路局
民航局
国家邮政局
中国国家铁路集团有限公司
2020年8月22日

'} +2020-09-15 11:12:15 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.miit.gov.cn/gdnps/searchIndex.jsp?params=%257B%2522goPage%2522%253A1%252C%2522orderBy%2522%253A%255B%257B%2522orderBy%2522%253A%2522publishTime%2522%252C%2522reverse%2522%253Atrue%257D%252C%257B%2522orderBy%2522%253A%2522orderTime%2522%252C%2522reverse%2522%253Atrue%257D%255D%252C%2522pageSize%2522%253A10%252C%2522queryParam%2522%253A%255B%257B%257D%252C%257B%257D%252C%257B%2522shortName%2522%253A%2522fbjg%2522%252C%2522value%2522%253A%2522%252F1%252F29%252F1146295%252F1652858%252F1652930%2522%257D%255D%257D&callback=jQuery111108461701558527148_1600139533585&_=1600139533586> +{'biaoti': '工业和信息化部办公厅关于公布支撑疫情防控和复工复产工业互联网平台解决方案的通知', + 'laiyuan': '工信部信息技术发展司', + 'lianjie': 'http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757022/c8071707/content.html', + 'shijian': '2020-09-04', + 'wenjian': [{'file_name': '支撑疫情防控和复工复产工业互联网平台解决方案名单', + 'file_url': 'http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757022/c8071707/part/8071734.wps', + 'new_file': '/2020/09/iX5kJtah_8071734.wps'}, + {'file_name': '_', + 'file_url': 'http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757022/c8071707/part/8071735.png', + 'new_file': '/2020/09/bySCF9tN_8071735.png'}, + {'file_name': '_', + 'file_url': 'http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757022/c8071707/part/8071736.png', + 'new_file': '/2020/09/B7EEw2pz_8071736.png'}, + {'file_name': '_', + 'file_url': 'http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757022/c8071707/part/8071737.png', + 'new_file': '/2020/09/f2kAmzoE_8071737.png'}, + {'file_name': '_', + 'file_url': 'http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757022/c8071707/part/8071738.png', + 'new_file': '/2020/09/UTuTqBVg_8071738.png'}], + 'xiangqing': '

工信厅信发函〔2020〕206号

 
各省、自治区、直辖市及计划单列市、新疆生产建设兵团工业和信息化主管部门，各有关单位：
 

根据《关于组织开展支撑疫情防控和复工复产的工业互联网平台解决方案征集工作的通知》（工信厅信发函〔2020〕82号）要求，经企业申报、地方推荐、专家评审和网上公示等环节，我部确定了“基于5G的远程影像诊断与协同服务解决方案”等66个支撑疫情防控和复工复产工业互联网平台解决方案，现予以公布。请各地区、各有关单位结合实际做好入选方案的经验总结和宣传推广工作。
   

特此通知。
 

附件：支撑疫情防控和复工复产工业互联网平台解决方案名单   ' + '
   

' + '

工业和信息化部办公厅
2020年8月25日




'} +2020-09-15 11:12:15 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757022/c8065061/content.html +2020-09-15 11:12:15 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757019/c8063099/content.html +2020-09-15 11:12:15 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757018/c8061240/content.html +2020-09-15 11:12:15 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146295/n1652858/n1652930/n4509607/c8060899/content.html +2020-09-15 11:12:15 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757016/c8051612/content.html +2020-09-15 11:12:15 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757019/c8049481/content.html +2020-09-15 11:12:15 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:12:15 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:12:15 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 1131, + 'downloader/request_count': 2, + 'downloader/request_method_count/GET': 2, + 'downloader/response_bytes': 25252, + 'downloader/response_count': 2, + 'downloader/response_status_count/200': 2, + 'elapsed_time_seconds': 1.780874, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 12, 15, 131905), + 'item_scraped_count': 4, + 'log_count/DEBUG': 6, + 'log_count/INFO': 17, + 'request_depth_max': 1, + 'response_received_count': 2, + 'scheduler/dequeued': 2, + 'scheduler/dequeued/memory': 2, + 'scheduler/enqueued': 2, + 'scheduler/enqueued/memory': 2, + 'start_time': datetime.datetime(2020, 9, 15, 3, 12, 13, 351031)} +2020-09-15 11:12:15 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:15 [scrapy.extensions.telnet] INFO: Telnet Password: a84ab8413bc016f5 +2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.gongyehexinxihuabuPipline'] +2020-09-16 08:47:15 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:15 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:15 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6025 +2020-09-16 08:47:15 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'DOWNLOAD_DELAY': 1, + 'LOG_FILE': 'logs/ziranweiyuanhui_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} diff --git a/demo1/logs/huojuzhongxin_2020_9.log b/demo1/logs/huojuzhongxin_2020_9.log new file mode 100644 index 0000000..74efacd --- /dev/null +++ b/demo1/logs/huojuzhongxin_2020_9.log @@ -0,0 +1,560 @@ +2020-09-15 11:19:59 [scrapy.extensions.telnet] INFO: Telnet Password: de017f73eeeebee1 +2020-09-15 11:19:59 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:19:59 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:19:59 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:19:59 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 11:19:59 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:19:59 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:19:59 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6024 +2020-09-15 11:19:59 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:19:59 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78356.htm +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78152.htm +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202008/31968fc6f34141f7b00ca1a4a9403b9b.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/62c204b65c5743e3bfa42b11f7f74e07.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/4d0a9a00609849ce8f7f92f8deefc0f1.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/72fc74e9f18e41a09e793db6ad1e57d5.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/ca4e198b01dc4d9ca3b7280193db6e43.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/5770a68db55b4122ac26d3b320fcd47d.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/687f7fe1fb554ffca065405d3ad58ff9.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/a1aa35a2ca6342129f91751a67d301eb.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/98f4eba5be7c44de86dcaeb5c52685a1.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/5999c535089542f2aba8661cd76f7f51.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/ebb7f4834b96465d92adbe7f9b59172e.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/9b5772a6b34946038857e345a74293bd.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/5d569f0bd065466ea650f8f3181f0f28.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/38bcefd694bc4aadbd61b4cd503c1a66.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202005/3b861ac8ca754865a9ad8cec9c91a461.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202005/3dd5ac8e23424ec9a2efdb013c07f1e1.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202005/0fbf02c759504c01b5b7b1485081bc52.shtml +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78522.htm +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78519.htm +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78513.htm +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78512.htm +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78478.htm +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78477.htm +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78463.htm +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78460.htm +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78459.htm +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78457.htm +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78444.htm +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78437.htm +2020-09-15 11:19:59 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78435.htm +2020-09-15 11:20:00 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.chinatorch.gov.cn/kjb/tzgg/list.shtml) +2020-09-15 11:20:00 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.nsfc.gov.cn/publish/portal0/tab442/module1178/page1.htm) +2020-09-15 11:20:00 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.chinatorch.gov.cn/kjb/tzgg/202009/333a6315e6e847598015470c023e6756.shtml> +{'biaoti': '关于举办2020年国家高新区主任培训班的通知', + 'laiyuan': '科技部火炬中心', + 'lianjie': 'http://www.chinatorch.gov.cn/kjb/tzgg/202009/333a6315e6e847598015470c023e6756.shtml', + 'shijian': '2020-09-03', + 'wenjian': [{'file_name': '附件：2020年度国家高新区主任培训班报名表', + 'file_url': 'http://www.chinatorch.gov.cn333a6315e6e847598015470c023e6756/files/80e9462717b54484acb6ce68eaf9a001.docx', + 'new_file': '/2020/09/HJDi7NGg_80e9462717b54484acb6ce68eaf9a001.docx'}, + {'file_name': '_', + 'file_url': 'http://www.chinatorch.gov.cn/default/images/icon16/doc.gif', + 'new_file': '/2020/09/lw6Z6JGe_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.chinatorch.gov.cn333a6315e6e847598015470c023e6756/images/e2b42f4c281042b5a536d56c1b40e60b.png', + 'new_file': '/2020/09/0Enc5MRi_e2b42f4c281042b5a536d56c1b40e60b.png'}], + 'xiangqing': '
\r\n' + '\t\t\t
\r\n' + ' \t

国科火字〔2020〕155号

\r\n' + '


\r\n' + '

\r\n' + '

关于举办2020年国家高新区主任培训班的通知

\r\n' + '


\r\n' + '

\r\n' + '

各国家高新区管委会：

\r\n' + '

日前，国务院发布了《国务院关于促进国家高新技术产业开发区高质量发展的若干意见》(国发〔2020〕7号)，明确了新时代国家高新区的定位和目标，对国家高新区的下一步发展进行了全面部署。根据科技部2020年培训工作安排，科技部火炬中心将举办“2020年国家高新区主任培训班”。现将有关事项通知如下：

\r\n' + '

一、培训内容

\r\n' + '

本期培训班以深入学习贯彻《国务院关于促进国家高新技术产业开发区高质量发展的若干意见》(国发〔2020〕7号)为主题，邀请从事高新区管理的领导及有关专家学者，通过专题讲座、案例教学、交流研讨等形式进行培训。主要内容包括：学习和贯彻《国务院关于促进国家高新技术产业开发区高质量发展的若干意见》具体要求，学习和贯彻科技部党组要求，学习和了解国家高新区面临的国际和国内新形势、新问题，学习和研讨高新区在提升科技创新能力、产业发展、绿色发展、改革创新等方面的实务和案例。

\r\n' + '

二、培训对象

\r\n' + '

各国家高新区管委会主要负责同志，每单位1人，共169人。(新冠中、高风险区的国家高新区可视具体情况确定报名参加)

\r\n' + '

三、培训时间和地点

\r\n' + '

培训时间：9月21日-24日，9月20日全天报到。

\r\n' + '

培训地点：江苏省苏州市苏州工业园区启月街299号(苏州独墅湖会议中心)。

\r\n' + '

四、培训费用

\r\n' + '

学员培训期间的食宿由培训班统一安排，不收取费用。

\r\n' + '

五、报名方式

\r\n' + '

请各国家高新区于2020年9月11日前，将“2020年度国家高新区主任培训班报名表”(详见附件)以电子邮件的方式分别发至科技部火炬中心及苏州工业园。

\r\n' + '

六、联系方式

\r\n' + '

1.苏州工业园

\r\n' + '

联系人：顾凡、申晨曦、张君达、程斌

\r\n' + '

电话：0512-66681633;0512-66681635;

\r\n' + '

13862166455;15850594613

\r\n' + '

传真：0512-66681699

\r\n' + '

邮箱：training@sipac.gov.cn

\r\n' + '

2.科技部火炬中心

\r\n' + '

联系人：魏颖、庞林花

\r\n' + '

电话：010-88656193;010-88656199;010-88656175

\r\n' + '

传真：010-88656190

\r\n' + '

邮箱：gaoxq2@ctp.gov.cn

\r\n' + '


\r\n' + '

\r\n' + '

附件：2020年度国家高新区主任培训班报名表
\r\n' + '

\r\n' + '


\r\n' + '

\r\n' + '

科技部火炬中心

\r\n' + '

2020年9月1日

\r\n' + '

(此件主动公开)

\r\n' + '


\r\n' + '

\r\n' + '

\r\n' + '\t\t\t
\r\n' + '
'} +2020-09-15 11:20:00 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:20:00 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:20:00 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 582, + 'downloader/request_count': 2, + 'downloader/request_method_count/GET': 2, + 'downloader/response_bytes': 23109, + 'downloader/response_count': 2, + 'downloader/response_status_count/200': 2, + 'elapsed_time_seconds': 1.548075, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 20, 0, 703358), + 'item_scraped_count': 1, + 'log_count/DEBUG': 5, + 'log_count/INFO': 43, + 'request_depth_max': 1, + 'response_received_count': 2, + 'scheduler/dequeued': 2, + 'scheduler/dequeued/memory': 2, + 'scheduler/enqueued': 2, + 'scheduler/enqueued/memory': 2, + 'start_time': datetime.datetime(2020, 9, 15, 3, 19, 59, 155283)} +2020-09-15 11:20:00 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-15 11:20:00 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.nsfc.gov.cn/publish/portal0/tab442/info78573.htm> +{'biaoti': '关于发布碳基能源转化利用的催化科学重大研究计划2020年度项目指南的通告', + 'laiyuan': '国家自然科学基金委员会', + 'lianjie': 'http://www.nsfc.gov.cn/publish/portal0/tab442/info78573.htm', + 'shijian': '2020-09-09', + 'xiangqing': '
\n' + '\n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + '
\n' + '\n' + '
\n' + '
\n' + '

国科金发计〔2020〕61号

\n' + '

\xa0

\n' + '

国家自然科学基金委员会现发布“碳基能源转化利用的催化科学”重大研究计划2020年度项目指南，请申请人及依托单位按项目指南中所述的要求和注意事项申请。

\n' + '

\xa0

\n' + '

附件：“碳基能源转化利用的催化科学”重大研究计划2020年度项目指南

\n' + '

\xa0

\n' + '

国家自然科学基金委员会

\n' + '

2020年9月8日

'} +2020-09-15 11:20:01 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.nsfc.gov.cn/publish/portal0/tab442/module1178/page1.htm) +2020-09-15 11:20:02 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.nsfc.gov.cn/publish/portal0/tab442/info78571.htm> +{'biaoti': '关于发布多相反应过程中的介尺度机制及调控重大研究计划2020年度项目指南的通告', + 'laiyuan': '国家自然科学基金委员会', + 'lianjie': 'http://www.nsfc.gov.cn/publish/portal0/tab442/info78571.htm', + 'shijian': '2020-09-09', + 'xiangqing': '
\n' + '\n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + '
\n' + '\n' + '
\n' + '
\n' + '

国科金发计〔2020〕60号

\n' + '

\xa0

\n' + '

国家自然科学基金委员会现发布“多相反应过程中的介尺度机制及调控”重大研究计划2020年度项目指南，请申请人及依托单位按项目指南中所述的要求和注意事项申请。

\n' + '

\xa0

\n' + '

附件：“多相反应过程中的介尺度机制及调控”重大研究计划2020年度项目指南 ' + '

\n' + '

\xa0

\n' + '

国家自然科学基金委员会

\n' + '

2020年9月8日

'} +2020-09-15 11:20:03 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.nsfc.gov.cn/publish/portal0/tab442/module1178/page1.htm) +2020-09-15 11:20:03 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.nsfc.gov.cn/publish/portal0/tab442/info78569.htm> +{'biaoti': '关于发布团簇构造、功能及多级演化重大研究计划2020年度项目指南的通告', + 'laiyuan': '国家自然科学基金委员会', + 'lianjie': 'http://www.nsfc.gov.cn/publish/portal0/tab442/info78569.htm', + 'shijian': '2020-09-09', + 'xiangqing': '
\n' + '\n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + '
\n' + '\n' + '
\n' + '
\n' + '

国科金发计>〔2020〕59号

\n' + '

\xa0

\n' + '

国家自然科学基金委员会现发布“团簇构造、功能及多级演化”重大研究计划2020年度项目指南，请申请人及依托单位按项目指南中所述的要求和注意事项申请。

\n' + '

\xa0

\n' + '

附件：“团簇构造、功能及多级演化”重大研究计划2020年度项目指南

\n' + '

\xa0

\n' + '

国家自然科学基金委员会

\n' + '

2020年9月8日

'} +2020-09-15 11:20:04 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.nsfc.gov.cn/publish/portal0/tab442/module1178/page1.htm) +2020-09-15 11:20:04 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.nsfc.gov.cn/publish/portal0/tab442/info78567.htm> +{'biaoti': '关于发布大气细颗粒物的毒理与健康效应重大研究计划2020年度项目指南的通告', + 'laiyuan': '国家自然科学基金委员会', + 'lianjie': 'http://www.nsfc.gov.cn/publish/portal0/tab442/info78567.htm', + 'shijian': '2020-09-09', + 'xiangqing': '
\n' + '\n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + '
\n' + '\n' + '
\n' + '
\n' + '

国科金发计〔2020〕58号

\n' + '

\xa0

\n' + '

国家自然科学基金委员会现发布“大气细颗粒物的毒理与健康效应”重大研究计划2020年度项目指南，请申请人及依托单位按项目指南中所述的要求和注意事项申请。

\n' + '

\xa0

\n' + '

附件：“大气细颗粒物的毒理与健康效应”重大研究计划2020年度项目指南

\n' + '

\xa0

\n' + '

国家自然科学基金委员会

\n' + '

2020年9月8日

'} +2020-09-15 11:20:05 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.nsfc.gov.cn/publish/portal0/tab442/module1178/page1.htm) +2020-09-15 11:20:05 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.nsfc.gov.cn/publish/portal0/tab442/info78537.htm> +{'biaoti': '2020年度国家自然科学基金委员会与芬兰科学院合作交流项目指南', + 'laiyuan': '国家自然科学基金委员会', + 'lianjie': 'http://www.nsfc.gov.cn/publish/portal0/tab442/info78537.htm', + 'shijian': '2020-09-04', + 'wenjian': [{'file_name': '1.合作交流计划书撰写说明', + 'file_url': 'http://www.nsfc.gov.cn/Portals/0/fj/fj20200904_01.docx', + 'new_file': '/2020/09/WQ12JV8o_fj20200904_01.docx'}, + {'file_name': '2.双边研讨会计划书', + 'file_url': 'http://www.nsfc.gov.cn/Portals/0/fj/fj20200904_02.docx', + 'new_file': '/2020/09/rZ1dWEN3_fj20200904_02.docx'}, + {'file_name': '3.合作协议模板', + 'file_url': 'http://www.nsfc.gov.cn/Portals/0/fj/fj20200904_03.docx', + 'new_file': '/2020/09/RF5gdArQ_fj20200904_03.docx'}], + 'xiangqing': '
\n' + '\n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + ' \n' + '
\n' + '\n' + '
\n' + '
\n' + '

根据国家自然科学基金委员会（NSFC）与芬兰科学院（AF）的合作协议及双边工作计划，双方于2020年共同资助中国与芬兰科研人员在科学研究基础上开展的合作交流和双边研讨会项目。

\n' + '

一、项目说明

\n' + '

（一）资助领域。

\n' + '

无领域限制。

\n' + '

（二）资助强度。

\n' + '

中方资助强度为不超过10万元/项。

\n' + '

（三）资助内容。

\n' + '

对于合作交流项目，自然科学基金委资助中方研究人员访芬的国际旅费和在芬兰访问期间的住宿费、伙食费、城市间交通费。芬兰科学院资助芬方研究人员访华的相关费用。

\n' + '

对于在中国召开的双边研讨会，自然科学基金委资助中方举办会议所需的会议费和中方参会人员住宿费、伙食费及城市间交通费。芬兰科学院资助芬方参会人员的相关费用。

\n' + '

对于在芬兰召开的双边研讨会，自然科学基金委资助中方研究人员访芬的国际旅费和在芬兰开会期间的住宿费、伙食费、城市间交通费。芬兰科学院资助芬方举办会议所需的会议费和芬方参会人员的相关费用。

\n' + '

（四）项目执行期。

\n' + '

合作交流项目执行期为2年（项目起止日期为2021年3月1日至2023年2月28日）。

\n' + '

双边研讨会项目执行期为1年（项目起止日期为2021年3月1日至2022年2月28日）。

\n' + '

二、申请资格

\n' + '

（一）中方申请人须是2021年12月31日（含）以后结题的3年期（含）以上国家自然科学基金在研项目（合作交流项目除外）的主持人或主要参与者（在研项目的主要参与者作为中方申请人须具有高级专业技术职务职称或博士学位，或有2名与其研究领域相同、具有高级专业技术职务职称的科学技术人员推荐，并经在研项目负责人同意），并依托该在研基金项目提交申请。合作交流应密切围绕所依托在研基金项目的研究内容。

\n' + '

（二）芬方合作者应符合芬兰科学院对本国申请人的资格要求。

\n' + '

（三）中芬双方申请人须分别向国家自然科学基金委员会和芬兰科学院递交项目申请，单方申请将不予受理。芬方申请指南详见：

\n' + '

https://www.aka.fi/en/funding/apply-for-funding/for-researchers/call-for-funding-for-international-researcher-mobility-based-on-bilateral-agreements/。

\n' + '

（四）更多关于申请资格的说明，请见《2020年度国家自然科学基金项目指南》。

\n' + '

三、限项规定

\n' + '

（一）本项目属于国际（地区）合作交流项目，不受“高级专业技术职务（职称）人员申请和正在承担的项目总数限为2项”规定的限制。

\n' + '

（二）作为申请人申请和作为项目负责人正在承担的NSFC-AF（中芬）合作交流和双边研讨会项目，合计限1项。

\n' + '

（三）更多关于限项规定的说明，请见《2020年度国家自然科学基金项目指南》。

\n' + '

四、申报要求

\n' + '

（一）在线填报路径。

\n' + '

中方申请人须登录ISIS科学基金网络系统（https://isisn.nsfc.gov.cn/egrantweb/），在线填报《国家自然科学基金国际（地区）合作交流项目申请书》。具体步骤如下：

\n' + '

1. ' + '选择“项目负责人”用户组登录系统，进入后点击“在线申请”进入申请界面；点击“新增项目申请”按钮进入项目类别选择界面。

\n' + '

2. 点击“国际（地区）合作与交流项目”左侧“+”号或者右侧“展开”按钮，展开下拉菜单。

\n' + '

3. ' + '对于合作交流项目，点击“合作交流（组织间协议项目）”右侧的“填写申请”按钮，进入选择“合作协议”界面，在下拉菜单中选择“NSFC-AF（芬兰）”，然后按系统要求输入依托在研基金项目的批准号（作为负责人承担的3年期及以上科学基金项目批准号），进入具体申请书填写界面。

\n' + '

对于在中国召开的双边研讨会，点击“在华召开国际（地区）学术会议”右侧的“填写申请”按钮，进入选择“合作协议”界面，在下拉菜单中选择“NSFC-AF（中芬）”，然后按系统要求输入依托在研基金项目的批准号（作为负责人承担的3年期及以上科学基金项目批准号），进入具体申请书填写界面。

\n' + '

对于在芬兰召开的双边研讨会，点击“出国(境)参加双(多)边会议”右侧的“填写申请”按钮，进入选择“合作协议”界面，在下拉菜单中选择“NSFC-AF（中芬）”，然后按系统要求输入依托在研基金项目的批准号（作为负责人承担的3年期及以上科学基金项目批准号），进入具体申请书填写界面。

\n' + '

（二）申请书填写说明。

\n' + '

中芬双方申请书中的项目名称（英文）、双方依托单位和双方项目负责人（默认为“中方人信息”栏目和“境外合作人员”栏目的第一人）应严格一致。

\n' + '

在“项目执行计划”栏目，应按照交流年度，详细列出出访及来访人员姓名、出访及来访日期和拟开展的研究工作内容，或双边研讨会的日程安排和拟参会人员信息。

\n' + '

本项目无间接费用，中方经费填写仅限经费预算表格中的第9项“差旅/会议/国际合作与交流费”栏。在“预算说明书”栏目，应按照“项目执行计划”的内容，按交流年度为出访人员的国际旅费、住宿费、伙食费、城市间交通费，或中芬双边研讨会制定详细预算。

\n' + '

（三）在线提交附件材料。

\n' + '

除在线填写并提交中文申请书外，中方申请人须将下列材料上传至中文申请书的“附件”栏中一同提交：

\n' + '

1. ' + '合作交流项目须提交与芬方合作者联合撰写的合作交流计划书（撰写说明见附件1）、芬方申请人及参与者简历、及中芬双方申请人签署的合作交流协议（协议模板见附件3）。

\n' + '

2. 双边研讨会项目须提交与芬方合作者联合撰写的双边研讨会计划书（撰写说明见附件2）。

\n' + '

（四）报送材料。

\n' + '

依托单位应对本单位申请人所提交申请材料的真实性、完整性和合规性，申报预算的目标相关性、政策相符性和经济合理性进行审核。本项目纳入无纸化申请范围，依托单位完成电子申请书及附件材料的逐项确认后，应于申请材料提交截止时间前通过ISIS科学基金网络系统上传本单位科研诚信承诺书的电子扫描件（请在ISIS科学基金网络系统中下载模板，打印填写后由法定代表人签字、依托单位加盖公章），无需提供纸质材料。ISIS系统在线申报接收期为2020年9月4日至2020年9月30日16时。

\n' + '

项目获批准后，将申请书的纸质签字盖章页装订在《资助项目计划书》最后，一并提交。签字盖章的信息应与电子申请书严格保持一致。

\n' + '

注：请申请人严格遵照本项目指南的各项要求填报申请，不符合上述要求的申请将不予受理。如有疑问，请致电项目联系人。

\n' + '

五、结果公布

\n' + '

2021年年初将在国家自然科学基金委员会门户网站国际合作栏目中公布资助结果。

\n' + '

六、项目联系人

\n' + '

中方联系人：申 洁

\n' + '

电 话：010-6232 7017

\n' + '

Email: shenjie@nsfc.gov.cn

\n' + '

中方申请人在线填写申请书过程中如遇到技术问题，可联系自然科学基金委ISIS系统技术支持。

\n' + '

电 话：010-6231 7474

\n' + '

\xa0

\n' + '

芬方联系人：Siru Oksa

\n' + '

Email: siru.oksa@aka.fi

\n' + '

UllaEllmén

\n' + '

Email: ulla.ellmen@aka.fi

\n' + '

\xa0

\n' + '

附件：1.合作交流计划书撰写说明

\n' + '

2.双边研讨会计划书

\n' + '

3.合作协议模板

\n' + '

\xa0

\n' + '

国家自然科学基金委员会

\n' + '

国际合作局

\n' + '

2020年9月4日

'} +2020-09-15 11:20:05 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:20:05 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:20:05 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 1922, + 'downloader/request_count': 6, + 'downloader/request_method_count/GET': 6, + 'downloader/response_bytes': 38806, + 'downloader/response_count': 6, + 'downloader/response_status_count/200': 6, + 'elapsed_time_seconds': 6.718878, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 20, 5, 791092), + 'item_scraped_count': 5, + 'log_count/DEBUG': 14, + 'log_count/INFO': 56, + 'request_depth_max': 1, + 'response_received_count': 6, + 'scheduler/dequeued': 6, + 'scheduler/dequeued/memory': 6, + 'scheduler/enqueued': 6, + 'scheduler/enqueued/memory': 6, + 'start_time': datetime.datetime(2020, 9, 15, 3, 19, 59, 72214)} +2020-09-15 11:20:05 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-15 11:20:39 [scrapy.extensions.telnet] INFO: Telnet Password: ae67de1bc4c91e21 +2020-09-15 11:20:39 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:20:39 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:20:39 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:20:39 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 11:20:39 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:20:39 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:20:39 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:20:40 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202009/333a6315e6e847598015470c023e6756.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202008/31968fc6f34141f7b00ca1a4a9403b9b.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/62c204b65c5743e3bfa42b11f7f74e07.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/4d0a9a00609849ce8f7f92f8deefc0f1.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/72fc74e9f18e41a09e793db6ad1e57d5.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/ca4e198b01dc4d9ca3b7280193db6e43.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/5770a68db55b4122ac26d3b320fcd47d.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/687f7fe1fb554ffca065405d3ad58ff9.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/a1aa35a2ca6342129f91751a67d301eb.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/98f4eba5be7c44de86dcaeb5c52685a1.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/5999c535089542f2aba8661cd76f7f51.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/ebb7f4834b96465d92adbe7f9b59172e.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/9b5772a6b34946038857e345a74293bd.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/5d569f0bd065466ea650f8f3181f0f28.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/38bcefd694bc4aadbd61b4cd503c1a66.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202005/3b861ac8ca754865a9ad8cec9c91a461.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202005/3dd5ac8e23424ec9a2efdb013c07f1e1.shtml +2020-09-15 11:20:40 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202005/0fbf02c759504c01b5b7b1485081bc52.shtml +2020-09-15 11:20:40 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:20:40 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:20:40 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 244, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 11236, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 0.543031, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 20, 40, 474551), + 'log_count/DEBUG': 1, + 'log_count/INFO': 29, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 15, 3, 20, 39, 931520)} +2020-09-15 11:20:40 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet Password: d2f89b4457c344ba +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-16 08:47:16 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:16 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6027 +2020-09-16 08:47:16 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'DOWNLOAD_DELAY': 1, + 'LOG_FILE': 'logs/fagaiwei_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} diff --git a/demo1/logs/kexujishubu_2020_9.log b/demo1/logs/kexujishubu_2020_9.log new file mode 100644 index 0000000..ef98a71 --- /dev/null +++ b/demo1/logs/kexujishubu_2020_9.log @@ -0,0 +1,321 @@ +2020-09-15 11:18:28 [scrapy.extensions.telnet] INFO: Telnet Password: 99625f5fb67f01df +2020-09-15 11:18:28 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:18:29 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:18:29 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:18:29 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.kexujishubuPipeline'] +2020-09-15 11:18:29 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:18:29 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:18:29 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:18:29 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202009/t20200902_158634.htm +2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200828_158545.htm +2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200827_158488.htm +2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200826_158478.htm +2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200824_158442.htm +2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200820_158368.htm +2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200820_158367.htm +2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200820_158366.htm +2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200818_158360.htm +2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200812_158357.htm +2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200806_158250.htm +2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202007/t20200731_158051.htm +2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202007/t20200729_158039.htm +2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202007/t20200728_158029.htm +2020-09-15 11:18:29 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202007/t20200728_158024.htm +2020-09-15 11:18:30 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.most.gov.cn/tztg/index.htm) +2020-09-15 11:18:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.most.gov.cn/tztg/202009/t20200914_158714.htm> +{'biaoti': '中国国际人才交流基金会2019年度公开招聘工作人员拟聘人员公示（第二批）', + 'laiyuan': '科技部', + 'lianjie': 'http://www.most.gov.cn/tztg/202009/t20200914_158714.htm', + 'shijian': '2020-09-14', + 'xiangqing': '
\n' + '

' + '根据事业单位公开招聘工作有关规定，现将我单位2019年公开招聘编制内工作人员拟聘人员（第二批）予以公示。公示期间，如有问题，请向我单位反映，或直接通过中央和国家机关所属事业单位公开招聘服务平台反映。 ' + '

\n' + '
\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '
\n' + '

岗位

\n' + '

姓名

\n' + '

学历学位及专业

\n' + '

原工作单位

\n' + '

培训与评价处副处长

\n' + '

梁才

\n' + '

博士研究生
电力系统及其自动化

\n' + '

国网能源研究院有限公司

\n' + '

公示时间：2020年9月11日-9月21日 （七个工作日）
受理电话：010-58882735 ' + '
来信地址及邮政编码：北京市海淀区北蜂窝中路3号中国国际人才交流基金会综合处 100038

\n' + '

\n' + '

中国国际人才交流基金会
' + '2020年9月11日

'} +2020-09-15 11:18:32 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.most.gov.cn/tztg/index.htm) +2020-09-15 11:18:32 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.most.gov.cn/tztg/202009/t20200911_158708.htm> +{'biaoti': '2020年科技部直属事业单位公开招聘应届高校毕业生第二批拟聘用人员公示', + 'laiyuan': '科技部', + 'lianjie': 'http://www.most.gov.cn/tztg/202009/t20200911_158708.htm', + 'shijian': '2020-09-11', + 'wenjian': [{'file_name': '2020年科技部直属事业单位公开招聘应届高校毕业生第二批拟聘用人员名单', + 'file_url': 'http://www.most.gov.cn/tztg/202009/W020200911442476560658.xls', + 'new_file': '/2020/09/kS6NPncp_W020200911442476560658.xls'}], + 'xiangqing': '

' + '根据《事业单位人事管理条例》和《事业单位公开招聘人员暂行规定》，按照公开、平等、竞争、择优的原则，科技部组织开展了2020年直属事业单位公开招聘应届高校毕业生工作。按照规定程序，科学技术部机关服务中心、中国科学技术发展战略研究院、中国科学技术交流中心、中国农村技术开发中心、科学技术部火炬高技术产业开发中心、中国生物技术发展中心、科学技术部科技经费监管服务中心、中国国际核聚变能源计划执行中心、国家科技风险开发事业中心、科学技术部科技人才交流开发服务中心、中国国际人才交流基金会确定了拟聘用人员名单，现对拟聘用人员进行公示（详见附件）。
' + '公示时间为2020年9月11日—21日。对公示信息如有异议，可以口头或书面形式向相关用人单位反映问题，反映者须署真实姓名，并提供必要的调查线索。

\n' + '

附件：2020年科技部直属事业单位公开招聘应届高校毕业生第二批拟聘用人员名单

\n' + '

\n' + '

科技部人事司
' + '2020年9月11日

'} +2020-09-15 11:18:33 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.most.gov.cn/tztg/index.htm) +2020-09-15 11:18:33 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.most.gov.cn/tztg/202009/t20200909_158689.htm> +{'biaoti': '中国科学技术发展战略研究院2020年面向社会公开招聘研究人员的公告', + 'laiyuan': '科技部', + 'lianjie': 'http://www.most.gov.cn/tztg/202009/t20200909_158689.htm', + 'shijian': '2020-09-09', + 'wenjian': [{'file_name': '中国科学技术发展战略研究院应聘报名登记表', + 'file_url': 'http://www.most.gov.cn/tztg/202009/W020200909632058434997.doc', + 'new_file': '/2020/09/oIhTDQlA_W020200909632058434997.doc'}], + 'xiangqing': '中国科学技术发展战略研究院是科技部直属的综合性软科学研究机构，主要从事国家科学技术发展战略、政策、体制、管理、预测、评价以及科技促进经济社会发展等方面的研究，为国家科技、经济、社会发展的宏观决策提供咨询和建议。
' + '根据工作需要，现面向社会公开招聘2名事业编制研究人员。有关事宜通知如下。
一、招聘基本条件
' + '（一）具有中华人民共和国国籍，遵守宪法和法律；
（二）政治思想素质好，遵纪守法，品行端正，无不良记录；
' + '（三）具有博士研究生学历和学位,具备应聘岗位所要求的工作能力及岗位所需的其它条件；
' + '（四）良好的沟通能力和团队合作精神；
（五）身体健康，能正常开展工作；
（六）具有北京市户口；
' + '（七）年龄40周岁以下（1980年7月1日以后出生）。
二、岗位、人数及要求 \n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '\n' + '
\n' + '

编号

\n' + '

岗位名称

\n' + '

招聘
人数

\n' + '

专业

\n' + '

其他条件

\n' + '

2020001

\n' + '

综合发展研究岗

\n' + '

1

\n' + '

经济学、金融学、国际贸易等相关专业

\n' + '

具有良好的团队合作精神，理论基础和文字功底扎实，有相关工作经验

\n' + '

2020002

\n' + '

科技与社会发展研究岗

\n' + '

1

\n' + '

社会学、统计学、管理学等相关专业

\n' + '

具有良好的团队合作精神，理论基础和文字功底扎实，有相关工作经验

\n' + '

三、招聘程序
（一）报名
' + '应聘人员须填写《中国科学技术发展战略研究院应聘报名登记表》（详见附件），在2020年9月14日前将《应聘报名登记表》及相关证明材料的电子版（扫描件或照片）发至指定邮箱zhb@casted.org.cn。
' + '（二）资格审查
' + '根据招聘岗位条件对应聘人员资格审查，对于符合条件者，以短信或电子邮件的方式通知应聘者参加考试，同时在中国科学技术发展战略研究院网站（http://www.casted.org.cn）公布考试人员名单。请应聘者在笔试时携带身份证、毕业证、学位证，以及相关证明材料原件，以备核查。
' + '（三）考试
' + '采取笔试、面试相结合的方式进行。笔试内容为专业能力测试，面试内容为综合性考察。根据笔试成绩排序，成绩不低于60分方有资格进入面试；按1:5的比例参加面试，不足1:5的，按实际参加人数确定。考试其他事项另行通知。
' + '（四）考察、体检
' + '根据考试、面试综合成绩（笔试成绩占50%，面试成绩占50%）按1:1比例确定考察、体检人选，体检参照《公务员录用体检通用标准》等规定执行。如放弃资格或考察、体检不合格，按综合成绩顺次递补。
' + '（五）公示
' + '根据考试、体检和考察结果，确定拟聘人员，在中央和国家机关所属事业单位公开招聘服务平台、科学技术部、中国科学技术发展战略研究院网站公示。公示期为7个工作日。
' + '（六）聘用
' + '经公示无异议后，办理聘用手续，签定聘用合同。被聘用人员实行试用期（试用期2个月，试用期包括在聘用合同期限内），试用期满考核合格的，予以正式聘用；不合格的，解除聘用关系。聘用人员享受国家规定的工资福利待遇。
' + '特此公告。
联系电话：58884679
电子邮箱：zhb@casted.org.cn。
' + '传真电话：010-58884678
附件：中国科学技术发展战略研究院应聘报名登记表

\n' + '

' + '中国科学技术发展战略研究院
2020年9月9日

\n' + '

\n' + '
'} +2020-09-15 11:18:34 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.most.gov.cn/tztg/index.htm) +2020-09-15 11:18:35 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.most.gov.cn/tztg/202009/t20200904_158652.htm> +{'biaoti': '关于对“科技冬奥”重点专项2021年度项目申报指南征求意见的通知', + 'laiyuan': '科技部', + 'lianjie': 'http://www.most.gov.cn/tztg/202009/t20200904_158652.htm', + 'shijian': '2020-09-04', + 'wenjian': [{'file_name': '“科技冬奥”重点专项2021年度项目申报指南（征求意见稿）', + 'file_url': 'http://www.most.gov.cn/tztg/202009/W020200904602892347374.doc', + 'new_file': '/2020/09/C6fFHgSq_W020200904602892347374.doc'}], + 'xiangqing': '

' + '根据《国务院关于改进加强中央财政科研项目和资金管理的若干意见》（国发〔2014〕11号）、《国务院关于深化中央财政科技计划（专项、基金等）管理改革方案的通知》（国发〔2014〕64号）、《科技部 ' + '财政部关于印发<国家重点研发计划管理暂行办法>的通知》（国科发资〔2017〕152号）等文件要求，现将“科技冬奥”重点专项2021年度项目申报指南（见附件）向社会征求意见和建议。征求意见时间为2020年9月4日至2020年9月18日，修改意见请于9月18日24点之前发至电子邮箱。
' + '国家重点研发计划相关重点专项的凝练布局和任务部署已经战略咨询与综合评审特邀委员会咨询评议，国家科技计划管理部际联席会议研究审议，并报国务院批准实施。本次征求意见重点针对各专项指南方向提出的目标指标和相关内容的合理性、科学性、先进性等方面听取各方意见和建议。科技部将会同有关部门、专业机构和专家，认真研究收到的意见和建议，修改完善相关重点专项的项目申报指南。征集到的意见和建议，将不再反馈和回复。
' + '联系方式：sfs_zhc@most.cn

\n' + '

附件：“科技冬奥”重点专项2021年度项目申报指南（征求意见稿）

\n' + '


' + '科技部社会发展科技司
2020年9月4日

'} +2020-09-15 11:18:36 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.most.gov.cn/tztg/index.htm) +2020-09-15 11:18:36 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.most.gov.cn/tztg/202009/t20200903_158644.htm> +{'biaoti': '国家科技基础条件平台中心面向社会公开招聘工作人员公告', + 'laiyuan': '科技部', + 'lianjie': 'http://www.most.gov.cn/tztg/202009/t20200903_158644.htm', + 'shijian': '2020-09-03', + 'wenjian': [{'file_name': '国家科技基础条件平台中心公开招聘人员报名表', + 'file_url': 'http://www.most.gov.cn/tztg/202009/W020200903611739213756.doc', + 'new_file': '/2020/09/fTeew6hw_W020200903611739213756.doc'}], + 'xiangqing': '

' + '国家科技基础条件平台中心（简称平台中心）是科学技术部直属事业单位,致力于推动科技资源优化配置，实现开放共享。根据《事业单位公开招聘人员暂行规定》和《科技部事业单位人事管理办法》等有关规定，按照“公开、公平、公正、竞争、择优”的原则，面向社会公开招聘一名工作人员。现将有关事宜通知如下： ' + '

\n' + '

一、招聘岗位

\n' + '

综合与监督处财务会计岗1名。

\n' + '

二、基本条件及岗位要求

\n' + '

（一）基本条件

\n' + '

1. 具有中华人民共和国国籍，遵守宪法和法律，拥护中国共产党领导，品行端正，有强烈的事业心和责任心；

\n' + '

2. 中共党员;

\n' + '

3. 会计类专业，大学本科及以上学历和学位。

\n' + '

4. 具有较强的协作配合及团队精神，具有较强的综合协调、组织管理和文字表达能力；

\n' + '

5. 北京市户口，身体健康，年龄一般在35周岁以下(1985年1月1日以后出生)；

\n' + '

6. 3年以上工作经验，有科研项目财务管理经验者优先。

\n' + '

（二）岗位职责

\n' + '

' + '承担中心各项会计核算工作；承担中心预决算编制工作，审核各项经费预算，监督各项预算的执行情况。承担编制报送会计报表，管理往来帐目，保管会计档案工作等。 ' + '

\n' + '

三、招聘程序

\n' + '

' + '1.自愿报名。应聘人员须填写《国家科技基础条件平台中心公开招聘人员报名表》（见附件），同时须提交个人简历、学历学位证书、身份证、职称及相关资格证书和获奖证书等扫描件电子版，于2020年9月14日17:00前，发电子邮件至平台中心。 ' + '

\n' + '

2.资格审查。对应聘人员的资格条件进行审查，确定参加笔试的人员名单。

\n' + '

' + '3.考试。考试分笔试与面试两部分。笔试主要测试应聘者综合分析能力、业务水平、文字表达能力，面试主要测试应聘者的沟通协调和岗位适应能力。对于笔试成绩合格者（60分以上），按1:5的比例组织面试。不足1:5的，按实际进入面试人数组织。笔试、面试时间地点及人员名单将在科技部网站及平台中心网站上公布。 ' + '

\n' + '

' + '4.考察。根据综合成绩（笔试成绩占40%，面试成绩占60%）按照1:1比例确定考察人选，平台中心将对其政治表现、道德品质、业务能力、拟任岗位资格等进行调研和考察。 ' + '

\n' + '

' + '5.体检。通知被考察人员到指定医疗机构进行身体检查。体检标准参照《公务员录用体检通用标准（试行）》（2010年修订）执行。 ' + '

\n' + '

' + '6.公示。根据考试成绩、考察情况、体检结果，确定拟聘用人员名单，并对拟聘用人员在中央和国家机关公开招聘服务平台、科技部网站和平台中心网站上进行公示，公示期为7个工作日。 ' + '

\n' + '

7.签订聘用合同，办理聘用手续等。本次招聘人员试用期为6个月，适用期满考核合格的，予以正式聘用；不合格的，取消聘用。 ' + '

\n' + '

四、注意事项

\n' + '

1.请应聘人员按时限要求填报《招聘人员报名表》，过期不予受理，恕不接待来访。

\n' + '

2.请应聘人员关注并及时查阅科技部和平台中心网站相关信息，对各环节中未通过的应聘人员将不再单独通知。

\n' + '

3.应聘人员在应聘工作过程中所发生的一切费用自理。

\n' + '

五、联系方式

\n' + '

联系电话：（010）58881106，58881469

\n' + '

电子邮件：pingtai@most.cn

\n' + '

\n' + '

附件：国家科技基础条件平台中心公开招聘人员报名表 ' + '

\n' + '

\n' + '

国家科技基础条件平台中心
' + '2020年9月3日

'} +2020-09-15 11:18:36 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:18:36 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:18:36 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 1728, + 'downloader/request_count': 6, + 'downloader/request_method_count/GET': 6, + 'downloader/response_bytes': 54032, + 'downloader/response_count': 6, + 'downloader/response_status_count/200': 6, + 'elapsed_time_seconds': 7.019067, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 18, 36, 328563), + 'item_scraped_count': 5, + 'log_count/DEBUG': 11, + 'log_count/INFO': 26, + 'request_depth_max': 1, + 'response_received_count': 6, + 'scheduler/dequeued': 6, + 'scheduler/dequeued/memory': 6, + 'scheduler/enqueued': 6, + 'scheduler/enqueued/memory': 6, + 'start_time': datetime.datetime(2020, 9, 15, 3, 18, 29, 309496)} +2020-09-15 11:18:36 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:15 [scrapy.extensions.telnet] INFO: Telnet Password: 091df706957f783b +2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.kexujishubuPipeline'] +2020-09-16 08:47:15 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:15 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:15 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-16 08:47:15 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'CONCURRENT_REQUESTS': 3, + 'DOWNLOAD_DELAY': 8, + 'LOG_FILE': 'logs/chacewang_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} diff --git a/demo1/logs/qicetong_2020_9.log b/demo1/logs/qicetong_2020_9.log new file mode 100644 index 0000000..eeaa128 --- /dev/null +++ b/demo1/logs/qicetong_2020_9.log @@ -0,0 +1,1612 @@ +2020-09-18 10:35:49 [scrapy.extensions.telnet] INFO: Telnet Password: ef99faa7905cb0ff +2020-09-18 10:35:49 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-18 10:35:49 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-18 10:35:49 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-18 10:35:49 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-18 10:35:49 [scrapy.core.engine] INFO: Spider opened +2020-09-18 10:35:49 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-18 10:35:49 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-18 10:35:49 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-18 10:35:59 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:36:08 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:36:08 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/MDyx9Ut5kdrAr9BFP5JcKR.htm?index=11> +{'biaoti': '阳泉市关于申请以工代训职业培训补贴的通知', + 'diqu': 1000008, + 'jianjie': '为做好稳就业工作，现就申请以工代训职业培训补贴的有关事项通知如下：\u3000\u3000' + '一、补贴范围及标准 \u3000\u3000' + '对中小微企业吸纳就业困难人员、零就业家庭成员、离校两年内高校毕业生、登记失业人员就业并开展以工代训，以及受...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/MDyx9Ut5kdrAr9BFP5JcKR.htm?index=11', + 'shijian': '2020-09-16', + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t' + '

为做好稳就业工作，现就申请以工代训职业培训补贴的有关事项通知如下：

\u3000\u3000' + '一、补贴范围及标准\xa0

\u3000\u3000' + '对中小微企业吸纳就业困难人员、零就业家庭成员、离校两年内高校毕业生、登记失业人员就业并开展以工代训，以及受疫情影响生产经营暂时困难导致停工停业中小微企业组织职工开展以工代训的，可根据吸纳人数，按每人每月300元、最长期限不超过6个月的标准，给予企业职业培训补贴。政策受理期限截至2020年12月31日。\xa0' + '

\u3000\u3000二、申领流程\xa0' + '

\u3000\u3000' + '符合条件的企业申请以工代训补贴，应按月向当地人力资源社会保障部门提供以工代训补贴资金申请表、企业营业执照（初次申领）、以工代训人员花名册、当月发放工资银行对账单（其中停工停产企业需提供上一季度发放工资银行对账单）。\xa0' + '

\u3000\u3000\xa0\xa0

\u3000\u3000\xa0\xa0

\u3000\u3000' + '阳泉市城区人力资源和社会保障局 \xa0\xa0\xa0

\u3000\u3000\xa0 \xa0 \xa0 \xa0 \xa0' + '2020年9月15日\xa0 \xa0 \xa0\xa0


'} +2020-09-18 10:36:19 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:36:19 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/72vC5jdM2iGkw5ZQkSsyuQ.htm?index=10> +{'biaoti': '工业和信息化部办公厅关于开展2020年中国优秀工业设计奖评奖工作的通知', + 'diqu': 1000008, + 'jianjie': '工信厅政法函〔2020〕210号 ' + '各省、自治区、直辖市及计划单列市、新疆生产建设兵团工业和信息化主管部门：为展示我国工业设计优秀成果，营造工业设计良好发展氛围，推动制造强国建设，经中央批准，我部将开展...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/72vC5jdM2iGkw5ZQkSsyuQ.htm?index=10', + 'shijian': '2020-09-17', + 'wenjian': [{'file_name': '附件：2020年中国优秀工业设计奖申报书.docx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200917/1600305522685001086.docx', + 'new_file': '/2020/09/z9jbtRDZ_1600305522685001086.docx'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/kVluiuHj_icon_doc.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

工信厅政法函〔2020〕210号

\xa0' + '

各省、自治区、直辖市及计划单列市、新疆生产建设兵团工业和信息化主管部门：

为展示我国工业设计优秀成果，营造工业设计良好发展氛围，推动制造强国建设，经中央批准，我部将开展2020年中国优秀工业设计奖评奖工作。现将有关事项通知如下：

一、总体要求

以习近平新时代中国特色社会主义思想为指导，深入贯彻党的十九大和十九届二中、三中、四中全会精神，坚持新发展理念，以提升制造业设计水平和能力为主线，落实《制造业设计能力提升专项行动计划（2019-2022年）》相关要求，通过开展评奖工作，营造工业设计创新发展良好氛围，激发工业设计创新活力，推动设计与制造业融合，提升工业设计服务水平，为制造业高质量发展提供有力支撑。

二、组织方式

工业和信息化部组建中国优秀工业设计奖评奖工作领导小组（以下简称领导小组），负责统筹研究和部署评奖工作，审定获奖名单及评奖过程中重大事项。领导小组办公室设在部产业政策与法规司，负责日常协调工作。

工业和信息化部指导有关行业组织、高校及研究机构等组建评奖工作委员会（以下简称评委会），负责评奖工作的具体实施。

各省、自治区、直辖市及计划单列市、新疆生产建设兵团工业和信息化主管部门（以下统称各地主管部门）负责动员申报主体广泛参与，组织本地区申报项目初选推荐等工作。

三、奖项设置

2020年中国优秀工业设计奖奖项名称为“中国优秀工业设计奖金奖”，分为产品设计奖和概念作品奖，共计10个，其中概念作品奖不超过2个。工业和信息化部对获奖产品（作品）颁发奖杯，对获奖单位和设计者（团队）颁发证书。

四、申报要求

（一）申报主体。

在中国境内依法注册的独立法人机构。

（二）申报范围。

交通及机械装备、电子信息产品、日用消费品等大类，具体包括交通工具、机械装备、电子信息及智能终端、智能机器人、人工智能、航空航天、新材料及新工艺等领域产品，办公及文体用品、文创旅游产品、家电及家居产品、纺织服饰、五金制品、医疗健康产品、特殊人群用品及特种用品等。

概念作品：围绕上述产品类别，提出符合经济社会发展和消费结构升级要求、具有前瞻性的设计作品。

（三）申报条件。

1.申报产品（作品）符合国家产业政策及有关技术、标准等规定；

2.申报产品（作品）不存在侵犯他人知识产权等违法违规情形；

3.同一个产品（作品）只能由一个单位申报；

4.申报单位须遵纪守法，近三年内无重大质量、安全、环境污染、公共卫生等事故；

5.申报产品设计奖的产品须是近两年内（2018年1月1日之后）上市的产品。申报概念作品奖的作品需在功能、结构、技术、形态、材料、工艺、节能、环保等方面有较大创新。

五、工作程序

（一）申报推荐。

1.组织申报。各地主管部门负责做好宣传动员，组织本地区申报主体参评，指导填写《2020年中国优秀工业设计奖申报书》（以下简称《申报书》，格式见附件），汇总本地区申报材料等工作。中央企业或其分支机构按属地化原则，通过当地主管部门进行申报。

2.初审。各地主管部门负责对申报材料进行初审，重点确认以下内容：

（1）申报单位及申报产品（作品）符合申报要求；

（2）申报产品（作品）符合国家产业政策及有关质量安全等技术、标准等规定；

（3）申报单位提交的相关材料内容真实；

（4）申报单位已提供须随附的重要材料。

3.提交材料。各地主管部门向初审合格的申报项目分配网上注册码（随后提供），由申报单位在线申报（www.ceid-award.cn，9月10日上线）并下载打印带有序号的《申报书》。各地主管部门在《申报书》上加盖公章后，正式报送领导小组办公室，并随附推荐作品名单及相关申报材料（一式一份）。网上申报流程参见申报网站相关说明。申报截止日期为2020年10月10日。

（二）初评、复评、终评及展示。

1.根据《中国优秀工业设计奖评奖工作委员会工作规则》《中国优秀工业设计奖评奖标准及程序》《中国优秀工业设计奖评审专家遴选办法》，评委会组织专家对推荐产品（作品）进行初评、复评及终评。其中，复评入围企业需提供实物参评，终评入围企业需参加答辩。所有参加复评的产品（作品）均参加公开展示。

评审主要内容包括先导性、创新性、实用性、美学效果、人机工学、品质、环保性、经济性等方面。

2.各地主管部门负责组织进入复评的实物产品参加复评、终评及展示，名单及相关事项另行通知。

六、工作要求

（一）高度重视，加强统筹。中国优秀工业设计奖评奖工作是总结和展示我国工业设计发展成果，促进行业交流合作，营造工业设计发展良好氛围的重要平台。各地主管部门要充分认识评奖工作的重要意义，加强统筹协调和部门联动，通过评奖提高企业创新能力，推动制造业高质量发展。

（二）认真审核，择优推荐。各地主管部门要认真审核、择优推荐，除评审内容外应对已上市产品的质量、安全等要素把关，确保参评产品整体水平。要高度重视知识产权保护，切实做好审查工作，不得有侵犯他人设计权或其他知识产权行为。

（三）严守纪律，依法合规。各地主管部门和评委会工作人员要严格遵守财经纪律等各项工作纪律，认真执行工作规定，不得以任何方式向参评单位和个人收取费用或者变相收费。要严格审查申报项目内容，不得含有泄露国家秘密的信息，不得有弄虚作假等违法违规行为。

七、其他事项

请各地主管部门将负责本项工作的联系人姓名、单位、职务，以及联系电话、传真、电子邮箱等联系方式，于2020年9月10日前报领导小组办公室。

\xa0

联系人：工业和信息化部产业政策与法规司 王酥镗

电 \xa0话：010-68209323/68205186；

传\xa0\xa0真：010-68205275；

通讯地址：北京市西长安街13号，100804\xa0。

\xa0

附件：2020年中国优秀工业设计奖申报书.docx

\xa0

\xa0' + '

工业和信息化部办公厅

2020年9月1日


'} +2020-09-18 10:36:26 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:36:26 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/WaBc8aFRcP9u4zcmHfAzk5.htm?index=9> +{'biaoti': '国家知识产权局关于评选第二十二届中国专利奖的通知', + 'diqu': 1000008, + 'jianjie': '\u3000\u3000' + '国知发运函字〔2020〕138号国务院各有关部门和单位知识产权工作管理机构，各省、自治区、直辖市及新疆生产建设兵团知识产权局，四川省知识产权服务促进中心，各有关全国性行业协会：\u3000\u3000' + '为深入贯彻习近平...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/WaBc8aFRcP9u4zcmHfAzk5.htm?index=9', + 'shijian': '2020-09-17', + 'wenjian': [{'file_name': '1．推荐项目分配表.docx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200917/1600324259424066176.docx', + 'new_file': '/2020/09/6nzWLkdJ_1600324259424066176.docx'}, + {'file_name': '2．院士推荐意见书.docx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200917/1600324266080094518.docx', + 'new_file': '/2020/09/ZFvC9JEU_1600324266080094518.docx'}, + {'file_name': '3．推荐函.docx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200917/1600324272207032440.docx', + 'new_file': '/2020/09/dsPEK85c_1600324272207032440.docx'}, + {'file_name': '4．推荐项目汇总表.docx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200917/1600324277921028246.docx', + 'new_file': '/2020/09/lPNf5FGi_1600324277921028246.docx'}, + {'file_name': '5．推荐单位联系人报名表.docx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200917/1600324283646056968.docx', + 'new_file': '/2020/09/UtFPwl7E_1600324283646056968.docx'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/MnY1OUFm_icon_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/eWo0P3Cb_icon_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/njoJPtBW_icon_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/hpVcSHVU_icon_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/Y1RQ8YWk_icon_doc.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

\u3000\u3000' + '国知发运函字〔2020〕138号

国务院各有关部门和单位知识产权工作管理机构，各省、自治区、直辖市及新疆生产建设兵团知识产权局，四川省知识产权服务促进中心，各有关全国性行业协会：

\u3000\u3000' + '为深入贯彻习近平新时代中国特色社会主义思想和党的十九大、十九届二中、三中、四中全会精神，强化知识产权创造、保护、运用，推动经济社会高质量发展，国家知识产权局和世界知识产权组织决定开展第二十二届中国专利奖评选工作，鼓励和表彰为技术（设计）创新及经济社会发展做出突出贡献的专利权人和发明人（设计人）。现将有关事宜通知如下：

\u3000\u3000' + '一、奖项设置

\u3000\u3000' + '中国专利奖设中国专利金奖、中国专利银奖、中国专利优秀奖，中国外观设计金奖、中国外观设计银奖、中国外观设计优秀奖。

\u3000\u3000' + '中国专利金奖、中国专利银奖、中国专利优秀奖从发明专利和实用新型专利中评选产生，中国专利金奖项目不超过30项，中国专利银奖项目不超过60项。中国外观设计金奖、中国外观设计银奖、中国外观设计优秀奖从外观设计专利中评选产生，中国外观设计金奖项目不超过10项，中国外观设计银奖项目不超过15项。

\u3000\u3000' + '本届评奖工作进一步突出高质量发展要求，对专利质量问题严重的地区减少其推荐名额，对发现存在较大数量（比例）非正常专利申请的单位和个人，取消其申报、推荐、参评或获奖资格。

\u3000\u3000' + '二、参评条件

\u3000\u3000' + '已获得国家知识产权局授权的专利，并同时具备以下条件的，可以参加中国专利奖评选：

\u3000\u3000' + '（一）在2019年12月31日前（含12月31日，以授权公告日为准）被授予发明、实用新型或外观设计专利权（含已解密国防专利，不含保密专利）；

\u3000\u3000' + '（二）专利权有效，在申报截止日前无法律纠纷；

\u3000\u3000' + '（三）全体专利权人均同意参评；

\u3000\u3000' + '（四）未获得过中国专利奖；

\u3000\u3000' + '（五）一项专利作为一个项目参评；

\u3000\u3000' + '（六）相同专利权人参评项目不超过2项。

\u3000\u3000三、参评方式

\u3000\u3000' + '中国专利奖采用项目推荐方式，由国务院各有关部门和单位知识产权工作管理机构、各省（区、市）知识产权局（以下简称省局）、各有关全国性行业协会组织推荐。各有关全国性行业协会仅限推荐本行业或本领域相关项目。

\u3000\u3000' + '中国科学院院士或中国工程院院士（以下简称院士）、计划单列市、副省级城市、知识产权示范城市和示范园区推荐的项目以及示范企业自荐的项目，须经申报单位所在地省局对参评条件及材料真实性进行审核、公示后，由省局统一推荐，不占省局推荐名额。

\u3000\u3000' + '推荐工作应以高质量发展为导向，优先推荐在基础研究、应用基础研究、关键核心技术攻关等方面形成的核心专利。

\u3000\u3000' + '四、名额分配

\u3000\u3000推荐名额分配见推荐项目分配表（附件1）。

\u3000\u3000' + '获得第二十一届中国专利奖最佳组织奖的单位可在分配名额的基础上增加1—2个推荐名额；设省政府专利奖的省局可在分配名额基础上增加1—2个推荐名额；被确定为知识产权强省建设试点省的省局可在分配名额基础上增加2个推荐名额，被确定为知识产权强市创建市的城市知识产权局可在分配名额基础上增加1个推荐名额。

\u3000\u3000' + '同专业领域的两名院士可联名推荐1项本专业领域的发明专利，每位院士仅限推荐一次。

\u3000\u3000' + '自2019年起，国家知识产权示范企业每两年可自荐1个项目参评。

\u3000\u3000' + '五、推荐程序

\u3000\u3000（一）审核

\u3000\u3000' + '各推荐单位应对推荐项目的参评资格、申报材料等进行审核，确保相关材料完整、真实、准确，不存在涉密内容。

\u3000\u3000' + '（二）公示

\u3000\u3000' + '国务院各有关部门和单位知识产权工作管理机构、各省局、各有关全国性行业协会应通过网络或书面形式对拟推荐项目（含院士、计划单列市、副省级城市、知识产权示范城市和示范园区推荐的项目以及示范企业自荐的项目）进行公示。

\u3000\u3000' + '公示时间不少于5个工作日。公示无异议或虽有异议但经核实处理后再次公示无异议的项目方可推荐。

\u3000\u3000' + '六、推荐材料报送要求

\u3000\u3000（一）报送材料

\u3000\u3000' + '1.院士推荐

\u3000\u3000' + '（1）院士推荐意见书1份（纸件，需院士签名，附院士证书复印件，格式见附件2）；

\u3000\u3000' + '（2）项目资料1份（电子件），包含：①中国专利奖申报书（WORD文档）；②附件—如图片、照片、获奖证书、项目应用证明等材料扫描件，填写经济效益数据的，专利权人可以提供有资质的会计师事务所出具的参评专利经济效益专项审计报告等作为经济效益相关证明材料，所有附件应嵌入一个PDF文档，不超过20M；③专利授权公告文本。

\u3000\u3000' + '项目电子件以光盘或U盘存储。

\u3000\u30002.单位推荐

\u3000\u3000' + '（1）推荐函1份（纸件和电子件，正式公函，纸件加盖公章，格式见附件3）；

\u3000\u3000' + '（2）项目资料1份（电子件），每个推荐项目包含：①中国专利奖申报书（WORD文档）；②附件—如图片、照片、获奖证书、项目应用证明等材料扫描件，填写经济效益数据的，专利权人可以提供有资质的会计师事务所出具的参评专利经济效益专项审计报告等作为经济效益相关证明材料，所有附件应嵌入一个PDF文档，不超过20M；③专利授权公告文本。

\u3000\u3000' + '所有项目的电子件存储在一张光盘或U盘中，并用标签标注推荐单位名称。

\u3000\u3000' + '（二）报送方式

\u3000\u3000' + '1．国务院各有关部门和单位知识产权工作管理机构、各省局、各有关全国性行业协会直接向我局报送。

\u3000\u3000' + '2．院士、计划单列市、副省级城市、知识产权示范城市和示范园区推荐的项目以及示范企业自荐的项目，须经申报单位所在地省局审核和公示后，由省局将相关申报材料汇总并填写推荐项目汇总表（附件4）后统一报送。

\u3000\u3000' + '（三）时间要求

\u3000\u3000' + '院士、计划单列市、副省级城市、知识产权示范城市和示范园区推荐的项目以及示范企业自荐的项目材料报送截止日期以各省局通知为准。

\u3000\u3000' + '我局受理国务院各有关部门和单位知识产权工作管理机构、各省局、各有关全国性行业协会的报送材料截止日期为2020年11月15日。

\u3000\u3000' + '材料统一采用EMS快递方式报送，不接受现场申报，凡材料不符合要求或逾期（以快递寄出日为准）推荐的均不予受理。

\u3000\u3000' + '请各单位按照《中国专利奖评奖办法》及本通知要求，认真做好宣传动员及项目推荐工作，并将负责此项工作的联系人报名表（附件5）于2020年9月30日前通过电子邮件报我局。

\u3000\u3000' + '我局将根据推荐项目的获奖情况，评出中国专利奖最佳组织奖5—8名、中国专利奖优秀组织奖15—20名，对推荐项目获中国专利金奖的院士，颁发中国专利奖最佳推荐奖。

\u3000\u3000' + '《中国专利奖评奖办法》《中国专利奖申报书（2020年修订版）》等请到国家知识产权局网站“中国专利奖”专栏下载（http://www.cnipa.gov.cn/ztzl/zgzlj/index.htm）。

\u3000\u3000' + '特此通知。

\u3000\u3000附件：

1．推荐项目分配表.docx

2．院士推荐意见书.docx

3．推荐函.docx

4．推荐项目汇总表.docx

5．推荐单位联系人报名表.docx

\u3000\u3000国家知识产权局

\u3000\u3000' + '2020年9月15日

\u3000\u3000联系人：中国专利奖评审办公室

\u3000\u3000电 ' + '话：010—62083614

\u3000\u3000邮 ' + '箱：zhuanlijiang22@cnipa.gov.cn

\u3000\u3000地 ' + '址：北京市海淀区西土城路6号 国家知识产权局西门收发室中国专利奖专属信箱

\u3000\u3000邮 ' + '编：100088


'} +2020-09-18 10:36:37 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=2&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:36:48 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=2&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:36:48 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/XbtBo67FCpp4m2mpasWC4S.htm?index=17> +{'biaoti': '关于转发《工业和信息化部办公厅关于开展2020年中国优秀工业设计奖评奖工作的通知》的通知', + 'diqu': 1000008, + 'jianjie': '省国防科工局、省小企业局、综改区管委会、各市工信局，各有关企业：\u3000\u3000' + '为展示我国工业设计优秀成果，营造工业设计良好发展氛围，推动制造强国建设，经中央批准，工业和信息化部将开展2020年中国优秀工业设计奖...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/XbtBo67FCpp4m2mpasWC4S.htm?index=17', + 'shijian': '2020-09-11', + 'wenjian': [{'file_name': '关于转发《工业和信息化部办公厅关于开展2020年中国优秀工业设计奖评奖工作的通知》的通知.pdf', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200911/1599810441620025906.pdf', + 'new_file': '/2020/09/2B4zVyPI_1599810441620025906.pdf'}, + {'file_name': '工业和信息化部办公厅关于开展2020年中国优秀工业设计奖评奖工作的通知.pdf', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200911/1599810448196002867.pdf', + 'new_file': '/2020/09/7zh9WogK_1599810448196002867.pdf'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_pdf.gif', + 'new_file': '/2020/09/vJe2voS1_icon_pdf.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_pdf.gif', + 'new_file': '/2020/09/eM8By4NT_icon_pdf.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t' + '

省国防科工局、省小企业局、综改区管委会、各市工信局，各有关企业：

\u3000\u3000' + '为展示我国工业设计优秀成果，营造工业设计良好发展氛围，推动制造强国建设，经中央批准，工业和信息化部将开展2020年中国优秀工业设计奖评奖工作。为做好2020年中国优秀工业设计奖评奖申报工作，现将《工业和信息化部办公厅关于开展2020年中国优秀工业设计奖评奖工作的通知》（工信厅政法函〔2020〕210号）转发给你们，请各单位按照文件要求，认真组织实施。

\u3000\u3000' + '（一）报送要求

\u3000\u3000' + '请各有关单位，各有关企业严格按照《通知》时间截点要求，于2020年9月29日前将正式上报文件和推荐企业材料（纸质版一式两份，电子版材料一份）报省工信厅产业政策处，《申报书》封面推荐单位一栏统一填写：山西省工业和信息化厅。同时，企业应按照《通知》要求进行线上申报，网上填报内容需与纸质材料一致。

\u3000\u3000' + '（二）联系方式

\u3000\u3000联\xa0系\xa0人：胡崚

\u3000\u3000' + '联系电话：0351-2022229（传真同号）\xa015635390920

\u3000\u3000' + '电子邮箱：sxcyzc@126.com


\u3000\u3000' + '附件：工业和信息化部办公厅关于开展2020年中国优秀工业设计奖评奖工作的通知

\xa0

\xa0' + '

\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0' + '山西省工业和信息化厅

\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0' + '2020年9月7日\xa0

附件：

关于转发《工业和信息化部办公厅关于开展2020年中国优秀工业设计奖评奖工作的通知》的通知.pdf

工业和信息化部办公厅关于开展2020年中国优秀工业设计奖评奖工作的通知.pdf


'} +2020-09-18 10:36:49 [scrapy.extensions.logstats] INFO: Crawled 7 pages (at 7 pages/min), scraped 4 items (at 4 items/min) +2020-09-18 10:36:57 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=2&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:36:57 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/FJ3NsnurnZ1SkFpK6naHeY.htm?index=16> +{'biaoti': '关于转发《太原市工业和信息化局关于组织申报2020年市级小微企业创业创新基地的通知》', + 'diqu': 1000008, + 'jianjie': '示范区各有关单位：为进一步提升小微企业创业创新基地建设和服务水平，推动大众创业、万众创新，现开展2020年市级小微企业创业创新基地（以下简称“市级小微企业双创基地”）认定工作。现将有关事项通知如下：一...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/FJ3NsnurnZ1SkFpK6naHeY.htm?index=16', + 'shijian': '2020-09-11', + 'wenjian': [{'file_name': '附件1：山西省小企业发展促进局关于印发《省级小微企业创业创新基地建设管理办法》的通知.docx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200911/1599818357407022517.docx', + 'new_file': '/2020/09/LE8lRv5R_1599818357407022517.docx'}, + {'file_name': '附件2：其他表格附件.docx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200911/1599818365275046044.docx', + 'new_file': '/2020/09/pIx93ffP_1599818365275046044.docx'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/vO8MDIw8_icon_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/qOn1VI1A_icon_doc.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

示范区各有关单位：

为进一步提升小微企业创业创新基地建设和服务水平，推动大众创业、万众创新，现开展2020年市级小微企业创业创新基地（以下简称“市级小微企业双创基地”）认定工作。现将有关事项通知如下：

一、申报条件

（一）市级小微企业双创基地申报条件参照山西省小企业发展促进局《省级小微企业创业创新基地建设管理办法》（〔2020〕4号）中省级小微企业创业创新基地申报条件。

（二）贫困地区申报市级双创基地，认定条件中的入驻企业户数可放宽至原标准的70%，其他有数量指标的条件放宽至原标准的50%。

（三）对各地新涌现出的小微企业双创基地新类型、新模式，按照包容支持、鼓励创新的原则，经各县（市、区）、开发区中小企业主管部门同意推荐并附推荐理由后，可适当放宽申报条件，参加申报和认定。

（四）根据太原市人民政府《关于应对新型冠状病毒感染肺炎疫情支持中小微企业发展的意见》中第六条“对在疫情期间减免承租的中小微企业租金、管理费、物业费的创业基地，今后优先予以政策扶持”，小微企业双创基地提供相关应证资料，可适当放宽申报条件，在市级小微企业双创基地评审中作为加分项。

二、申报材料

申报市级小微企业双创基地应提交如下资料：

（一）太原市小微企业创业创新基地申请表（附件1）。

（二）入驻小微企业双创基地的小微企业名单、入驻企业基本情况表（附件2）及营业执照影印件。

（三）申报主体（小微企业双创基地建设或运营主体）营业执照副本（复印件）。

（四）小微企业双创基地发展规划。

（五）小微企业双创基地主要管理人员、服务人员名单及学历、职称。开展公共服务的证明材料（文件、照片、人员签到表等）。

（六）县级人民政府或小微企业双创基地制定的入驻企业优惠政策措施（包括厂房、场地租金优惠等）及相关印证材料。

（七）土地、房屋的不动产权证书（或租赁合同）复印件。

（八）提供申报主体的财务制度、财务人员名单及申报截止日期上月度的基地纳税财务报表。

（九）上一年度与本小微企业双创基地相关的专项审计报告或本年度截止申报期之前的专项审计报告（包含双创基地建设投入情况、服务成本、入驻企业户数等）复印件（原件在评审时带到现场供专家查验），审计报告应具有可查询的条形码。\xa0\xa0\xa0' + '

（十）申请认定的小微企业双创基地周边租金询价表（附件3）。

（十一）申报单位对申报资料和附属文件真实性承诺书。

以上资料均需加盖申报主体公章。需另附的其他应证资料按顺序后附。

申报材料应按顺序装订成册并编有页码，内容要与申报条件相符，印证材料要详实准确。

三、申报工作要求

（一）各申报单位及推荐单位应确保申报材料真实准确，如发现造假行为，将取消申报单位认定资格且三年内不得重新申报；同时，追回奖励资金，向有关部门建议列入失信名单，并依法依规追究推荐单位责任。

（二）请各相关单位认真做好组织申报工作，并于9月24日前将申报材料电子版发至邮箱：zgqscfwzx@126.com，纸质版一式两份交到管委会1035室。

\xa0

联系人：卢艳蓉

联系电话：7031676

\xa0

附件1：山西省小企业发展促进局关于印发《省级小微企业创业创新基地建设管理办法》的通知.docx

附件2：其他表格附件.docx

\xa0

\xa0

2020年9月11日


'} +2020-09-18 10:37:08 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=2&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:37:08 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/9UVknEaMA1jZ5M3xDu8qhG.htm?index=15> +{'biaoti': '关于开展2020年中国优秀工业设计奖申报工作的通知', + 'diqu': 1000008, + 'jianjie': '区内各企业：为展示我国工业设计优秀成果，营造工业设计良好发展氛围，推动制造强国建设，工业和信息化部将开展2020年中国优秀工业设计奖评奖工作。请企业按照省工信厅《关于转发\r\n' + '\t\t\t ', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/9UVknEaMA1jZ5M3xDu8qhG.htm?index=15', + 'shijian': '2020-09-15', + 'wenjian': [{'file_name': '关于转发《工业和信息化部办公厅关于开展2020年中国优秀工业设计奖评奖工作的通知》的通知 ' + '(1).pdf', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200915/1600154634293048254.pdf', + 'new_file': '/2020/09/3fXO8r1q_1600154634293048254.pdf'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_pdf.gif', + 'new_file': '/2020/09/RXA4yCEU_icon_pdf.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

区内各企业：

为展示我国工业设计优秀成果，营造工业设计良好发展氛围，推动制造强国建设，工业和信息化部将开展2020年中国优秀工业设计奖评奖工作。请企业按照省工信厅《关于转发<工业和信息化部办公厅关于开展2020年中国优秀工业设计奖评奖工作的通知>的通知》要求准备申报材料纸质版一式三份（电子版光盘两份），于9月24日前提交至山西综改示范区管委会创新发展部312办公室（地址：太原市小店区龙盛街21号）。

\xa0

联系人：王海锋 \xa08206879

\xa0' + '

附件：关于转发《工业和信息化部办公厅关于开展2020年中国优秀工业设计奖评奖工作的通知》的通知 ' + '(1).pdf

\xa0

\xa0

\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0' + '2020年9月14日


'} +2020-09-18 10:37:15 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=3&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:37:26 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=3&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:37:26 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/Nnt5LU9Kqn5L83HqXwRXM.htm?index=23> +{'biaoti': '关于开展供需产品和服务征集工作的通知', + 'diqu': 1000008, + 'jianjie': '区内各企（事）业单位：为深入学习贯彻习近平总书记视察山西重要讲话重要指示，落实省委省政府“四为四高两同步”总体思路和要求，按照省委省政府“用好本土市场、就近配置资源”和区党工委、管委会“开展产业链产品...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/Nnt5LU9Kqn5L83HqXwRXM.htm?index=23', + 'shijian': '2020-09-07', + 'wenjian': [{'file_name': '1.企业简介.doc', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200907/1599459315938049610.doc', + 'new_file': '/2020/09/7X2G1eiP_1599459315938049610.doc'}, + {'file_name': '2.企业产品（服务）供应清单.xlsx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200907/1599459324633049255.xlsx', + 'new_file': '/2020/09/ykhGUWvm_1599459324633049255.xlsx'}, + {'file_name': '3.企业产品（服务）需求清单.xlsx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200907/1599459331528064588.xlsx', + 'new_file': '/2020/09/kYp9QnuL_1599459331528064588.xlsx'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/fRkbgOek_icon_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_txt.gif', + 'new_file': '/2020/09/x5E0Wg8c_icon_txt.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_txt.gif', + 'new_file': '/2020/09/fWI6KbOk_icon_txt.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

区内各企（事）业单位：

为深入学习贯彻习近平总书记视察山西重要讲话重要指示，落实省委省政府“四为四高两同步”总体思路和要求，按照省委省政府“用好本土市场、就近配置资源”和区党工委、管委会“开展产业链产品推荐、产业供需对接，扎实推进\'区材区用\'”的相关政策精神，示范区拟召开供需产品和服务专场对接会，同时编制《示范区重点产品和服务推荐目录》对外发布。现面向区内企业开展供需产品和服务征集工作，具体事项通知如下：

一、征集对象

征集对象：一是示范区企（事）业单位、科研院所等研发、生产的产品和可提供的服务；二是示范区企（事）业单位、科研院所等需要的产品和服务。

二、产品（服务）类型

产品：聚集高端装备制造业、电子信息产业等“2+9”现代产业体系的企业产品。

服务：生产供应服务、信息软件服务、电子商务服务、检验检测服务、研发与设计服务等服务。

三、相关要求

1.示范区拟于9月中旬起召开各产业、各行业专题对接会，请各企业高度重视，安排专人负责，认真梳理产品和服务信息和市场需求，按要求填报相关信息，提交的相关资料需准确、完整、有效。

2.企业于9月15日前将简介（附件1）、《企业产品（服务）供应清单》（附件2）和《企业产品（服务）需求清单》（附件3）发送至邮箱。

3.示范区创新发展部对企业提交的产品和服务信息进行汇总整理，编制《示范区重点产品和服务推荐目录》并对外发布。供需产品和服务专场对接会召开时间和地点另行通知，活动不收取任何费用。

\xa0

联系人：王海锋\xa08206879 \xa0\xa0\xa0郭蔚杰 7560335

邮\xa0\xa0箱：sfqcxfzb@163.com

\xa0

附件：

1.企业简介.doc

2.企业产品（服务）供应清单.xlsx

3.企业产品（服务）需求清单.xlsx

\xa0' + '

\xa0\xa0

\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0' + '2020年9月4日\xa0


'} +2020-09-18 10:37:37 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=3&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:37:37 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/8cbapNSRzQ5VdunrvZvSwb.htm?index=22> +{'biaoti': '山西省标准化和质量强省领导小组办公室关于开展第三届山西省质量奖评选表彰工作的通知', + 'diqu': 1000008, + 'jianjie': '附件：1.山西省质量奖（制造、服务、工程建设业组织）申报表.docx ' + '2.山西省质量奖（个人）推荐表.docx 3.山西省质量奖申报企业、个人征求意见表.doc...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/8cbapNSRzQ5VdunrvZvSwb.htm?index=22', + 'shijian': '2020-09-08', + 'wenjian': [{'file_name': '1.山西省质量奖（制造、服务、工程建设业组织）申报表.docx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200908/1599544548372039159.docx', + 'new_file': '/2020/09/v65XKjzl_1599544548372039159.docx'}, + {'file_name': '2.山西省质量奖（个人）推荐表.docx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200908/1599544554758045133.docx', + 'new_file': '/2020/09/8WM8XIbA_1599544554758045133.docx'}, + {'file_name': '3.山西省质量奖申报企业、个人征求意见表.doc', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200908/1599544561152055257.doc', + 'new_file': '/2020/09/pneJHdQf_1599544561152055257.doc'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/image/20200908/1599544459106080426.png', + 'new_file': '/2020/09/0heStpqG_1599544459106080426.png'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/image/20200908/1599544464995082639.png', + 'new_file': '/2020/09/80R08qK0_1599544464995082639.png'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/image/20200908/1599544473763059241.png', + 'new_file': '/2020/09/6rQGFOLT_1599544473763059241.png'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/image/20200908/1599544481859001429.png', + 'new_file': '/2020/09/KepLNDjG_1599544481859001429.png'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/image/20200908/1599544488752082278.png', + 'new_file': '/2020/09/lT2OWRys_1599544488752082278.png'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/image/20200908/1599544497164000803.png', + 'new_file': '/2020/09/ww8DxSXZ_1599544497164000803.png'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/image/20200908/1599544505636043277.png', + 'new_file': '/2020/09/Fmlc5ERB_1599544505636043277.png'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/image/20200908/1599544514904049244.png', + 'new_file': '/2020/09/Nom70w32_1599544514904049244.png'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/image/20200908/1599544523984074488.png', + 'new_file': '/2020/09/89Q6NYbw_1599544523984074488.png'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/image/20200908/1599544531354045939.png', + 'new_file': '/2020/09/0xt6V0Op_1599544531354045939.png'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/q8FybY8L_icon_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/Cu3LLvFl_icon_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/88GbhUGc_icon_doc.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

附件：1.山西省质量奖（制造、服务、工程建设业组织）申报表.docx

\xa0 \xa0 \xa0 \xa0 \xa0\xa02.山西省质量奖（个人）推荐表.docx

\xa0 \xa0 \xa0 \xa0 \xa0\xa03.山西省质量奖申报企业、个人征求意见表.doc


'} +2020-09-18 10:37:44 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=3&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:37:44 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/BgqFdrzB4JEZXiG9v8NDsP.htm?index=21> +{'biaoti': '关于申报2020年 “山西省上市挂牌后备企业资源库”入库企业的通知', + 'diqu': 1000008, + 'jianjie': '示范区各企业：根据《山西省人民政府办公厅关于印发山西省上市挂牌后备企业资源库设立和管理办法的通知》（晋政办发[2018]47号）的文件精神，现开展申报我区2020年度“山西省上市挂牌后备企业资源库”入...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/BgqFdrzB4JEZXiG9v8NDsP.htm?index=21', + 'shijian': '2020-09-08', + 'wenjian': [{'file_name': '山西省人民政府办公厅关于印发山西省上市挂牌后备企业资源库设立和管理办法的通知.pdf', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200908/1599545052583089847.pdf', + 'new_file': '/2020/09/BrY9KcLX_1599545052583089847.pdf'}, + {'file_name': '山西省上市挂牌企业资源库管理实施方案.pdf', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200908/1599545082127042354.pdf', + 'new_file': '/2020/09/NpGQq1YE_1599545082127042354.pdf'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_pdf.gif', + 'new_file': '/2020/09/KmzfXNZA_icon_pdf.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_pdf.gif', + 'new_file': '/2020/09/EDsoTPwQ_icon_pdf.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

示范区各企业：

根据《山西省人民政府办公厅关于印发山西省上市挂牌后备企业资源库设立和管理办法的通知》（晋政办发[2018]47号）的文件精神，现开展申报我区2020年度“山西省上市挂牌后备企业资源库”入库企业申报工作。申报材料一式三份，请于2020年9月25日之前交到山西转型综合改革示范区投融资促进中心。

联系人：艾 菲\xa0 0351-7560662\xa0\xa0' + '

邮\xa0 \xa0' + '箱：sfqtrzcjzx@163.com\xa0

地\xa0 \xa0址：山西省太原市小店区龙盛街21号综改示范区管委会大楼533室

附件1：山西省人民政府办公厅关于印发山西省上市挂牌后备企业资源库设立和管理办法的通知.pdf

附件2：山西省上市挂牌企业资源库管理实施方案.pdf


\xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0' + '山西转型综改示范区投融资促进中心

\xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0\xa0\xa0 \xa0' + '2020年9月7日


'} +2020-09-18 10:37:49 [scrapy.extensions.logstats] INFO: Crawled 13 pages (at 6 pages/min), scraped 9 items (at 5 items/min) +2020-09-18 10:37:55 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=4&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:38:04 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=4&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:38:05 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/TF3HdmFFkQU4ccuMAmjccW.htm?index=29> +{'biaoti': '晋城市关于申报2021年度省级文化产业发展专项资金项目的通知', + 'diqu': 1000008, + 'jianjie': '各县、市、区委宣传部、市直各有关单位: ' + '根据省文改办《关于申报2021年度省级文化产业发展专项资金项目的通知》(晋文改办发〔2020〕5号)精神，现就2021年度省级文化产业发展专项资金申报工作...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/TF3HdmFFkQU4ccuMAmjccW.htm?index=29', + 'shijian': '2020-09-03', + 'wenjian': [{'file_name': '山西省省级文化产业发展专项资金贷款贴息项目申请表.doc', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200903/1599114460165019874.doc', + 'new_file': '/2020/09/f3Q8vpPg_1599114460165019874.doc'}, + {'file_name': '山西省省级文化产业发展专项资金补助项目申请表.doc', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200903/1599114480094010262.doc', + 'new_file': '/2020/09/9vUN32Ta_1599114480094010262.doc'}, + {'file_name': '山西省省级文化产业发展专项资金奖励项目申请表.doc', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200903/1599114495405099156.doc', + 'new_file': '/2020/09/QsKjEVgy_1599114495405099156.doc'}, + {'file_name': '项目申报单位承诺书.doc', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200903/1599114509268087899.doc', + 'new_file': '/2020/09/5X75T8RQ_1599114509268087899.doc'}, + {'file_name': '山西省2021年度省级文化产业发展专项资金项目简要情况.doc', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200903/1599114525346029548.doc', + 'new_file': '/2020/09/m1jxulqZ_1599114525346029548.doc'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

各县、市、区委宣传部、市直各有关单位:

\xa0 \xa0 ' + '根据省文改办《关于申报2021年度省级文化产业发展专项资金项目的通知》(晋文改办发〔2020〕5号)精神，现就2021年度省级文化产业发展专项资金申报工作有关事项通知如下:

一、申报条件

\xa0 \xa0 ' + '申报项目应满足以下条件:符合国家和我省的文化产业发展政策，符合《省级文化产业发展专项资金管理办法》(晋财行〔2011〕9号)(以下简称“《办法》”)确定的支持范围、资格等相关条件。

演艺类、影视剧、动漫游戏、文学、书画类等内容生产项目不在本次申报范围。

二、支持重点

(一)文化金融合作项目。引导鼓励金融资本投入文化产业，优先扶持银行贷款贴息类项目，支持设立文化产业类基金等金融工具。\u2002' + '

(二)国家文化大数据体系建设项目。支持文化企业参与国家文化大数据体系建设，包括文化遗产标本库、中华民族文化基因库、中华文化素材库等建设;国家文化专网山西节点建设;文化企业参与数字化文化生产线建设;文化体验园、文化体验馆建设等。

(三)文化融合发展项目。支持传统媒体和新兴媒体融合发展产业项目;支持文化旅游融合发展产业项目;支持文化科技创新项目;支持文化科技类重点基地和园区建设。

(四)文化产业公共服务平台建设运营项目。支持文化双创园区、文化产业园区及示范基地建设及运营;支持文化产业数据平台建设服务、投融资服务、关键共性技术开发等公共服务平台建设。

(五)国有骨干文化企业深化改革、转型升级重点项目。

(六)具有带动性、示范性的重点文化产业项目。支持新闻出版业转型升级项目;支持印刷企业进行技术改造和绿色环保设备更新;支持实体书店发展;支持演艺产业发展项目等。

(七)特色文化产业项目。支持具有地域特色的文化资源向现代文化产品转化及特色文化品牌推广;支持贫困地区发展特色文化产业、培育当地骨干文化企业;支持小剧场建设及升级改造运营;支持文化创意和设计服务与相关产业融合发展项目;支持对外文化贸易发展等。

(八)其他符合《办法》申报要求的项目。

三、申报流程

\xa0 \xa0 ' + '各县(市、区)委宣传部对本辖区内申报单位的申报资格、申报项目材料等进行认真审核,组织进行初审，并经会议研究，对审核通过的项目,汇总后以正式文件向市委宣传部报送项目资金申请报告(包括会议记录或会议纪要)，并附相关申报材料。

\xa0 \xa0 ' + '市直单位申报项目报主管部门审核，主管部门组织进行初审，并经会议研究后，对审核通过的项目,汇总后以正式文件向市委宣传部报送项目资金申请报告(包括会议记录或会议纪要)，并附相关申报材料。其他项目按《办法》规定办理。

四、申报方式

\xa0 \xa0 ' + '纸质文件申报与电子扫描件申报同时进行。申报单位须按要求完成全部文件(包括附件)电子扫描，每个项目的电子扫描件应做到数据准确、资料齐全、扫描图像清晰，并与纸质文件保持一致。纸质文件一式3份，并加盖单位公章。

五、其他要求

1、省级文化产业发展专项资金实行“谁申报、谁负责”的原则，各县(市、区)委宣传部和市直有关单位，要高度重视，认真组织，严格按照有关规定和本通知要求，对申报项目进行审核，确保项目申报内容真实、准确、可靠，严禁弄虚作假。

2、项目申请单位要按《办法》要求提供相关材料，并统一填写山西省省级文化产业发展专项资金申报表(根据申报类型选择填写附件1、2、3)、申报单位承诺书(附件4)及项目简要情况(附件5)。项目申报表格可到黄河新闻网(http://www.sxgov.cn/)或者晋城在线(http://www.jcgov.gov.cn/)下载。

3、请各县(市、区)委宣传部和市直有关单位于2020年9月7日前，将项目资金申请报告及有关材料装订成册，一式3份连同电子扫描件，报送市委宣传部文化产业科，逾期不予受理。

联 ' + '系 ' + '人:郭静艳

联系电话:0356-2198557

电子邮箱:jcxcbsyk@163.com

附件:

1、山西省省级文化产业发展专项资金贷款贴息项目申请表.doc

2、山西省省级文化产业发展专项资金补助项目申请表.doc

3、山西省省级文化产业发展专项资金奖励项目申请表.doc

4、项目申报单位承诺书.doc

5、山西省2021年度省级文化产业发展专项资金项目简要情况.doc



\xa0

2020年9月1日\u2002\u2002\u2002' + '


'} +2020-09-18 10:38:15 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=4&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:38:15 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/3kJ92pTiTEk1QgiYfzMJ52.htm?index=28> +{'biaoti': '太原市关于申报2021年度省级文化产业发展专项资金项目的通知', + 'diqu': 1000008, + 'jianjie': ' 各县（市、区）文化和旅游局：根据市委宣传部《关于申报2021年度省级文化产业发展专项资金项目的通知》要求，现就 ' + '2021年度省级文化产业发展专项资金项目申报有关工作通知如下。一、申报条件项目申报单位...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/3kJ92pTiTEk1QgiYfzMJ52.htm?index=28', + 'shijian': '2020-09-03', + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t


\xa0各县（市、区）文化和旅游局：

根据市委宣传部《关于申报2021年度省级文化产业发展专项资金项目的通知》要求，现就 ' + '2021年度省级文化产业发展专项资金项目申报有关工作通知如下。

一、申报条件

项目申报单位须是在我市注册、具有独立法人资格的文化企业。项目应符合国家和我省的文化产业发展政策，符合《省级文化产业发展专项资金管理办法》(晋财行﹝2011﹞9号)确定的支持范围和资格等条件。演艺类、影视剧、动漫游戏、文学、书画类等内容生产项目不在此次申报范围。

二、支持重点

（一）文化金融合作项目。引导鼓励金融资本投入文化产业，优先扶持银行贷款贴息类项目，支持设立文化产业类基金等金融工具。

（二）国家文化大数据体系建设项目。支持文化企业参与国家文化大数据体系建设，包括文化遗产标本库、中华民族文化基因库、中华文化素材库等建设；国家文化专网山西节点建设；文化企业参与数字化文化生产线建设；文化体验园、文化体验馆建设等。

（三）文化融合发展项目。支持传统媒体和新兴媒体融合发展产业项目；支持文化旅游融合发展产业项目；支持文化科技创新项目；支持文化科技类重点基地和园区建设。

（四）文化产业公共服务平台建设运营项目。支持文化双创园区、文化产业园区及示范基地建设及运营；支持文化产业数据平台建设服务、投融资服务、关键共性技术开发等公共服务平台建设。

（五）国有骨干文化企业深化改革、转型升级重点项目。

（六）具有带动性、示范性的重点文化产业项目。支持演艺产业发展项目等。

（七）特色文化产业项目。支持具有地域特色的文化资源向现代文化产品转化及特色文化品牌推广；支持贫困地区发展特色文化产业、培育当地骨干文化企业；支持小剧场建设及升级改造运营；支持文化创意和设计服务与相关产业融合发展项目；支持对外文化贸易发展等。

（八）其他符合《办法》申报要求的项目。

三、申报方式

项目扶持分为贷款贴息、补助、奖励三种方式，每个项目只能选择一种方式进行申报。项目申报材料要严格按照项目申请表附件材料所列清单提供并按序装订成册并加盖公章，非企业法人的项目主体和不属于文化产业的项目，申报材料内容不真实、不准确、不齐全，绩效目标设定不合理，申请资金使用内容和明细不合规、不明确的项目一律不予审核通过。项目申请表、项目单位承诺书等相关表格可到黄河新闻网(http://www.sxgov.cn/)下载。

四、其他要求

各县（市、区）文旅局对本辖区内申报单位的申报资格、申报项目材料等进行严格审核把关，须经相应会议研究审核后进行报送，对审核通过的项目，汇总后以正式文件向市文旅局报送项目资金申请推荐报告，并附各项目的纸质版申报材料（一式四份）、全部申报材料的电子扫描件（U盘形式报送）。报送截止时间：2020年9月7日上午10点，逾期不予受理。已通过各县（市、区）委宣传部或其他途径进行申报的项目，不得重复申报。

联系人：杨博

地址：万柏林区望景路10号6层621室（市文旅局产业促进科）

电话：4030480 \xa018636621946

电子邮箱：tyswljcyk@126.com

\xa0

太原市文化和旅游局

2020年9月2日

附件下载：

关于申报2021年度省级文化产业发展专项资金项目的通知


'} +2020-09-18 10:38:25 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=4&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:38:25 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/7ELtfKhkpUaQqC9cG8ZPpu.htm?index=27> +{'biaoti': '综改区关于申报2021年度省级文化产业发展专项资金项目的通知', + 'diqu': 1000008, + 'jianjie': '示范区各文创企业：根据省文化体制改革和发展工作领导小组办公室《关于申报2021年度省级文化产业发展专项资金项目的通知》要求，现就 ' + '2021年度省级文化产业发展专项资金项目申报有关工作通知如下。一、申报...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/7ELtfKhkpUaQqC9cG8ZPpu.htm?index=27', + 'shijian': '2020-09-04', + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

示范区各文创企业：

根据省文化体制改革和发展工作领导小组办公室《关于申报2021年度省级文化产业发展专项资金项目的通知》要求，现就 ' + '2021年度省级文化产业发展专项资金项目申报有关工作通知如下。

一、申报条件

项目申报单位须是在我市注册、具有独立法人资格的文化企业。项目应符合国家和我省的文化产业发展政策，符合《省级文化产业发展专项资金管理办法》(晋财行﹝2011﹞9号)确定的支持范围和资格等条件。演艺类、影视剧、动漫游戏、文学、书画类等内容生产项目不在此次申报范围。

二、支持重点

（一）文化金融合作项目。引导鼓励金融资本投入文化产业，优先扶持银行贷款贴息类项目，支持设立文化产业类基金等金融工具。

（二）国家文化大数据体系建设项目。支持文化企业参与国家文化大数据体系建设，包括文化遗产标本库、中华民族文化基因库、中华文化素材库等建设；国家文化专网山西节点建设；文化企业参与数字化文化生产线建设；文化体验园、文化体验馆建设等。

（三）文化融合发展项目。支持传统媒体和新兴媒体融合发展产业项目；支持文化旅游融合发展产业项目；支持文化科技创新项目；支持文化科技类重点基地和园区建设。

（四）文化产业公共服务平台建设运营项目。支持文化双创园区、文化产业园区及示范基地建设及运营；支持文化产业数据平台建设服务、投融资服务、关键共性技术开发等公共服务平台建设。

（五）国有骨干文化企业深化改革、转型升级重点项目。

（六）具有带动性、示范性的重点文化产业项目。支持演艺产业发展项目等。

（七）特色文化产业项目。支持具有地域特色的文化资源向现代文化产品转化及特色文化品牌推广；支持贫困地区发展特色文化产业、培育当地骨干文化企业；支持小剧场建设及升级改造运营；支持文化创意和设计服务与相关产业融合发展项目；支持对外文化贸易发展等。

（八）其他符合《办法》申报要求的项目。

三、申报方式

项目扶持分为贷款贴息、补助、奖励三种方式，每个项目只能选择一种方式进行申报。项目申报材料要严格按照项目申请表附件材料所列清单提供并按序装订成册并加盖公章，非企业法人的项目主体和不属于文化产业的项目，申报材料内容不真实、不准确、不齐全，绩效目标设定不合理，申请资金使用内容和明细不合规、不明确的项目一律不予审核通过。项目申请表、项目单位承诺书等相关表格可到黄河新闻网(http://www.sxgov.cn/)下载。

四、其他要求

请各文创企业认真阅读文件，符合条件的企业积极申报，严格审核申报项目，按照项目申请表中所列清单顺序胶装成册，于2020年9月9日下午5点前，报送申报材料纸质版和全部申报材料的电子扫描件（U盘形式报送），我中心将根据报名情况组织召开专家评审会，进行审核上报。已通过其他途径进行申报的项目，不得重复申报，请严格按报送时间要求报送，逾期将不予受理。

联系人：陈娟、苗晓玲

地址：龙盛街21号山西综改示范区管委会1033办公室

电话：7927989 18636108118 15235360725

电子邮箱：zgsfqwlb@163.com


示范区对外联络宣传中心

2020年9月4日

\xa0 \xa0 \xa0 附件下载：关于申报2021年度省级文化产业发展专项资金项目的通知


政策来源：关于申报2021年度省级文化产业发展专项资金项目的通知


'} +2020-09-18 10:38:31 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=5&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:38:41 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=5&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:38:41 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/5DXHkiM2btMLZXEUQ78LHH.htm?index=35> +{'biaoti': '山西省农业农村厅办公室关于做好2021年部分农业大专项项目储备工作的通知', + 'diqu': 1000008, + 'jianjie': '晋农办计财发〔2020〕201号各市、县农业农村局，省有关单位，厅有关处站： \u3000\u3000' + '按照省委“项目为王”总体要求，为做好2021年省级财政预算安排前期准备工作，指导市县做好2021年项目储备申报工作，...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/5DXHkiM2btMLZXEUQ78LHH.htm?index=35', + 'shijian': '2020-09-01', + 'wenjian': [{'file_name': '农业项目附件下载.zip', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200901/1598940829397020796.zip', + 'new_file': '/2020/09/ItAj9Brv_1598940829397020796.zip'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_rar.gif', + 'new_file': '/2020/09/UF5yBiVe_icon_rar.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

晋农办计财发〔2020〕201号

各市、县农业农村局，省有关单位，厅有关处站：\xa0\xa0' + '

\u3000\u3000' + '按照省委“项目为王”总体要求，为做好2021年省级财政预算安排前期准备工作，指导市县做好2021年项目储备申报工作，现就有关事项通知如下。\xa0' + '

\u3000\u3000一、总体思路\xa0' + '

\u3000\u3000' + '项目是产业发展的硬支撑，是转型发展的主推力。2021年省厅将按照省委“四为四高两同步”总体思路和要求，以“六保”促“六稳”，以“六新”促转型，紧紧围绕“目标任务项目化、资金跟着项目走”的工作思路，坚持“集中资金、集中投向、集中区域、非均衡发展”的原则，储备支持一批投资大、效益好、带动能力强的重点项目，推动“资金、服务”跟着项目走，加快项目建设进度，提高资金使用效益,为蹚出农业农村转型发展新路提出项目支撑。\xa0' + '

\u3000\u3000二、项目储备重点\xa0' + '

\u3000\u3000' + '2021年重点围绕三大省级战略、农产品精深加工十大产业集群、有机旱作农业、设施农业、南果中粮北肉平台、“六新”项目、药茶（中药材平台）、现代农机产业化发展等进行项目储备。（详见附件）\xa0' + '

\u3000\u3000三、项目储备程序和要求\xa0' + '

\u3000\u3000' + '按照省市县和各行业主管部门分级储备、层层把关、逐级推荐的程序择优申报，分别建立项目储备库。\xa0' + '

\u3000\u3000（一）项目征集储备\xa0

\u3000\u3000' + '各级农业农村部门根据各类项目申报指南要求，认真谋划项目，广泛征集项目，深入调研核查，建立健全项目储备库。\xa0\xa0\xa0\xa0' + '

\u3000\u3000（二）项目报送审核\xa0\xa0

\u3000\u3000' + '县级农业农村部门（蔬菜、果业）优先将已开工项目、具备开工条件项目、已在投资管理部门批复立项（备案）项目报送至市级。\xa0' + '

\u3000\u3000' + '市级农业农村部门要对县级报送的项目和市本级储备项目开展项目审核工作，严格把关形成审核意见，并将通过审核的项目归口分别报送至省厅计财处和业务处站。省本级项目由厅相关业务处站储备并组织审核，报送厅计财处统一储备。项目审核工作主要对申报材料的真实性、合规性及拟申报项目是否符合支持方向，是否完成审批、核准或备案手续，项目单位是否被纳入严重违法失信企业黑名单；对计划新开工项目要重点审核前期工作条件是否成熟等，是否能按期开工建设；本领域内有列入2018、2019年中央、省级项目未完成竣工验收的，不得纳入推荐范围。同一年度同一项目原则只能申请一次补助。\xa0' + '

\u3000\u3000' + '厅计财处会同业务处站对各市报送项目进行审核统一储备。省厅对各市报送项目的质量进行评定，对项目评定质量为好的市将予以倾斜。省厅将纳入省级储备项目库的项目数量质量及投资额作为资金安排的重要因素。2021年省级支持项目必须是省级储备项目。各级农业农村部门对本级推荐申报项目真实性、合法性和可行性负责。从2021年3月1日起，省厅将调度纳入省级储备库项目进展情况，对年度投资虚高、投资完成率低、长期不开工的项目进行调整，并通报有关市县政府。\xa0' + '

\u3000\u3000（三）项目报送要求\xa0

\u3000\u3000' + '1.报送材料。市级项目推荐文件2份（以计财（财）字号推荐报送，主要包括整体组织申报情况、推荐意见及市级项目汇总表）；项目实施方案或已批复（备案）的可研报告2份（需分类型按单体项目编制或提供）。\xa0' + '

\u3000\u30002.时间要求。各市农业农村局务于9月15日前将有关材料分别报送至厅计财处（1份）和相关业务处站（1份）。逾期将不再受理。\xa0' + '

\u3000\u3000此通知中各项规定为总体要求，具体分项目报送材料和要求请与各申报指南联系人确认。\xa0' + '

\u3000\u3000' + '《山西省农业农村厅关于做好2021年农业大专项项目储备工作的通知》已在“山西农业农村厅”网站向全省公开发布，方便各有关单位和项目主体查询。查询方式：登录“山西农业农村厅”网站（网址：http://nynct.shanxi.gov.cn/），在“计划财务”栏内查询。\xa0' + '

\u3000\u3000\xa0\xa0

\u3000\u3000附件：

1.2021年三大省级战略项目申报指南\xa0' + '

\u3000\u30002.2021年农产品精深加工十大产业集群申报指南\xa0' + '

\u3000\u30003.2021年特色优势有机旱作农业科研和生产基地项目申报指南\xa0' + '

\u3000\u30004.2021年设施农业建设项目申报指南\xa0

\u3000\u3000' + '5.2021年北肉平台项目申报指南\xa0

\u3000\u3000' + '6.2021年农业农村“六新”项目申报指南\xa0

\u3000\u3000' + '7.2021年农机产业化项目申报指南\xa0

\u3000\u3000' + '8.2021年现代农业种业发展项目申报指南\xa0

\u3000\u3000' + '9.2021年粮牧渔高产创建项目申报指南\xa0

\u3000\u3000' + '10.2021年药茶产业（东药材商贸平台）项目申报指南\xa0

\u3000\u3000' + '11.2021年农村集体“三资”管理规范化建设示范县项目申报指南\xa0\xa0

\u3000\u3000' + '12.2021年农产品品牌建设项目申报指南\xa0

\u3000\u3000' + '13.项目实施方案编制参考格式（通用模板）\xa0

\u3000\u3000' + '14.山西省XX市2021年储备项目入库表（通用模板）\xa0

\u3000\u3000 ' + '附件下载：农业项目附件下载.zip

\xa0' + '

\u3000\u3000\xa0\xa0

山西省农业农村厅办公室

2020年8月30日

政策来源：山西省农业农村厅办公室关于做好2021年部分农业大专项项目储备工作的通知

'} +2020-09-18 10:38:49 [scrapy.extensions.logstats] INFO: Crawled 19 pages (at 6 pages/min), scraped 13 items (at 4 items/min) +2020-09-18 10:38:52 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=5&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:38:52 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/Y5qY1QqAHKVzddaNPmqGSV.htm?index=34> +{'biaoti': '关于2020年申报高校毕业生、高技能人才来并工作补助（贴）和本土人才能力素质提升补助的通知', + 'diqu': 1000008, + 'jianjie': '根据《中共太原市委关于深化人才发展体制机制改革加快推进创新驱动转型升级的实施意见》（并发〔2018〕2号）、《关于放宽人才户口迁入政策的通知》（并办发〔2018〕30号）、《关于搭建人才事业平台推动转...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/Y5qY1QqAHKVzddaNPmqGSV.htm?index=34', + 'shijian': '2020-09-01', + 'wenjian': [{'file_name': '附件下载 人才补助.zip', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200901/1598948515125089632.zip', + 'new_file': '/2020/09/XZZa91bd_1598948515125089632.zip'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_rar.gif', + 'new_file': '/2020/09/srMsUNhC_icon_rar.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

根据《中共太原市委关于深化人才发展体制机制改革加快推进创新驱动转型升级的实施意见》（并发〔2018〕2号）、《关于放宽人才户口迁入政策的通知》（并办发〔2018〕30号）、《关于搭建人才事业平台推动转型发展的若干措施》（并办发〔2018〕46号）精神，按照《高校毕业生和高技能人才来并工作补助（贴）发放实施办法》、《本土人才能力素质提升补助发放办法》要求，现将2020年高校毕业生、高技能人才来并工作补助（贴）和本土人才能力素质提升补助申报事宜通知如下：

一、申请对象

生活补助申请对象为：全日制博士研究生，世界排名前200名大学（不含境内）、教育部公布的一流大学建设高校和“双一流”建设学科的全日制硕士研究生（含2019年以后毕业的非全日制硕士研究生）、本科生。

租房补贴申请对象为：除生活补助发放对象以外的其他普通高校的全日制硕士研究生（含2019年以后毕业的非全日制硕士研究生）、本科生（含留学回国人员），技师、高级技师。

学费补贴申请对象为：全日制博士研究生，教育部公布的一流大学建设高校和“双一流”建设学科的全日制硕士研究生（含2019年以后毕业的非全日制硕士研究生）、本科生。

能力素质提升补助申请对象为：取得上一级学历学位（硕士研究生、博士研究生）的在职（聘）人员或取得上一级职业资格证书（技师、高级技师）并满一年的在职（聘）人员。

特别注意：

1、生活补助与租房补贴只可申请一项，不得同时申请。

2、公费师范生和免费医学生不能申请学费补贴。

3、一流大学建设高校和“双一流”建设学科：以教育部、财政部、国家发展改革委《关于公布世界一流大学和一流学科建设高校及建设学科名单的通知》（教研函〔2017〕2号）中公布名单为准。

4、世界排名前200名大学：以ARWU、THE、QS、US ' + 'News四个机构排名为准。

二、申请条件

（一）生活补助、租房补贴、学费补贴申请对象需同时满足以下条件：

1、遵纪守法，具有良好的职业道德；

2、2018年1月1日后首次在并参加工作，并入职以下单位、岗位（高校毕业生需在毕业3年内入职）：

（1）太原市各类企业（含中央、省属驻并企业）、社会组织和市县所属行政、事业单位；

（2）中央、省属驻并高等院校（含省委党校，下同）、科研院所、公立医院三类事业单位教学、科研、临床一线岗位（不含参公单位）；

（3）省属驻并民办高校教学、科研一线岗位；

3、与用人单位签订不少于3年的劳动（聘用）合同（基层服务项目人员放宽到1年以上），并在用人单位按规定缴纳城镇职工基本养老保险；

4、具有本市户籍（技师、高级技师需2018年1月1日以后落户）；

自主创业符合上述条件的享受同等待遇。

（二）能力素质提升补助申请对象需同时满足以下条件：

1、遵纪守法，具有良好的职业道德；

2、2018年1月1日后取得学历学位或职业资格证书（满一年）；

3、能力素质提升期间与太原市各类企业（含中央、省属驻并企业）、社会组织和市县所属行政、事业单位签订劳动（聘用）合同，并按规定缴纳城镇职工基本养老保险；

4、具有本市户籍。

三、补助（贴）标准

生活补助：全日制博士研究生每月5000元（根据省财政厅、省人社厅《鼓励优秀博士毕业生来晋工作实施办法（试行）》（晋财教〔2017〕153号），可获省级相应财政补助的，按照补齐原则，每月补助标准为3333元）；全日制硕士研究生（含2019年以后毕业的非全日制硕士研究生）每月3000元；全日制本科生每月1500元。

租房补贴：全日制硕士研究生（含2019年以后毕业的非全日制硕士研究生）每月1200元；全日制本科生每月1000元。技师、高级技师每月1000元。

学费补贴：全日制博士研究生、硕士研究生（含2019年以后毕业的非全日制硕士研究生）、本科生来并工作当年补贴18000元。

能力素质提升补助：取得硕士研究生学历学位每年给予2万元补助；取得博士研究生学历学位每年给予3万元补助；取得技师职业资格证书每年给予1.5万元补助；取得高级技师职业资格证书每年给予2万元补助。补助按年度申报，发放时间均为2年。

四、申请材料

（一）登录太原市人力资源和社会保障局官网（http：//rsj.taiyuan.gov.cn），点击“人才补助（贴）申报”栏，进入“太原市人才补贴申报系统”，录入个人信息，完成提交后，自动生成并打印《高校毕业生来并工作生活补助申请表》、《高校毕业生（高技能人才）来并工作租房补贴申请表》、《高校毕业生来并工作学费补贴申请表》、《太原市本土人才能力素质（学历学位）提升补助申请表》、《太原市本土人才能力素质（职业技能）提升补助申请表》；（原件）

（二）用人单位填写《高校毕业生来并工作生活补助花名表》（附件1）、《高校毕业生（高技能人才）来并工作租房补贴花名表》（附件2）、《高校毕业生来并工作学费补贴花名表》（附件3）、《太原市本土人才能力素质（学历学位）提升补助花名表》（附件4）、《太原市本土人才能力素质（职业技能）提升补助花名表》（附件5）；（原件、电子版excel）

（三）身份证、户口簿本人单页和本人人才联名卡；（原件、复印件1份）

（四）毕业证、学位证和《教育部学历认证书电子注册备案表》（留学回国人员需提供教育部留学服务中心出具的《国（境）外学历学位认证书》、《报到证》）；高技能人才需提供相关职业资格证书；（原件、复印件1份）

（五）行政单位录用文件、企业劳动合同或事业单位聘用文件及合同，劳务派遣人员另需提供实际用工单位与劳务派遣公司签订的有效期内劳务派遣协议和在人社部门年检时的全体员工花名表（申请生活补助、租房补贴、学费补贴人员提供）；（原件、复印件1份）

（六）在提升学历学位期间（入学至毕业后）或取得职业技能证书以来与用人单位签订的劳动（聘用）合同（公务员不需提供），劳务派遣人员另需提供实际用工单位与劳务派遣公司签订的有效期内劳务派遣协议和在人社部门年检时的全体员工花名表（申请能力素质提升补助人员提供）；（原件、复印件1份）

（七）所在单位营业执照、法人登记证书、统一社会信用代码证书；（原件、复印件1份）

（八）参加企业或机关事业单位基本养老保险证明材料；（原件）

（九）中央、省属驻并事业单位、民办高校申请人员须提供所在单位出具的一线岗位证明材料（须加盖单位公章、单位纪检部门签署意见并加盖纪检部门公章）。（原件）

特别注意：

1、《高校毕业生来并工作生活补助申请表》、《高校毕业生（高技能人才）来并工作租房补贴申请表》、《高校毕业生来并工作学费补贴申请表》、《太原市本土人才能力素质（学历学位）提升补助申请表》、《太原市本土人才能力素质（职业技能）提升补助申请表》必须通过“太原市人才补贴申报系统”自动生成并打印，自行制作的表格不予受理；

2、《教育部学历认证书电子注册备案表》毕业生可在中国高等教育学生信息网（学信网）免费认证获取；

3、参加企业基本养老保险证明可以在太原市人力资源和社会保障局官网（http：//rsj.taiyuan.gov.cn）下“太原人社网上办事大厅”打印或在各级社保窗口办理，机关事业单位基本养老保险证明在各级社保窗口自行办理；

4、申请人养老保险需缴纳至2020年8月。2020年度生活补助、租房补贴发放至2020年8月；

5、申请材料复印件均需加盖单位公章；

6、2018年、2019年已申领人员材料清单详见《关于2020年高校毕业生、高技能人才来并工作补助（贴）和本土人才能力素质提升补助发放有关问题的政策解释》。（附件7）

五、办理流程

（一）申报时间。2020年9月15日—10月20日。

（二）材料提交。申请人向所在用人单位提出申请（劳务派遣人员向实际用人单位申请），用人单位对材料真实性核实并在本单位公示5个工作日后，向所在地县（市、区）、开发区（园区）政务大厅人才服务窗口申报，其中中央、省属驻并事业单位，市属行政、事业单位向市政务服务中心人才服务窗口申报。

（三）审核。各受理地人社局或人力资源部门负责审核，审核不通过的应告知申请人所在单位。

（四）公示。11月中旬，各审核部门在本地政府官网对其审定名单进行公示，其中市人社局在其官网进行公示，公示时间为5个工作日。

（五）发放。由市人社局和各县（市、区）、开发区（园区）将人才补助（贴）发放至申请人人才联名卡。

（六）申诉。申请人对审核结果有异议的可以向市人社局申诉。

六、法律声明

申请人必须如实填报个人信息，对提供虚假材料或采取其他弄虚作假行为骗取财政补助（贴）资金的单位或个人，一经发现取消补助（贴）资格，纳入单位和个人信用记录，并保留追究其法律责任的权利。

政策咨询电话：0351-8331062\xa0 ' + '0351-8331065

\xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 ' + '0351-8331067\xa0 0351-8331069

政策咨询时间：08:30-12:00\xa0 14:00-18:00（工作日）

\xa0

附件：

1、高校毕业生来并工作生活补助花名表

2、高校毕业生（高技能人才）来并工作租房补贴花名表

3、高校毕业生来并工作学费补贴花名表

4、太原市本土人才能力素质（学历学位）提升补助花名表

5、太原市本土人才能力素质（职业技能）提升补助花名表

6、太原市人才补贴申报系统使用说明

7、关于2020年高校毕业生、高技能人才来并工作补助（贴）和本土人才能力素质提升补助发放有关问题的政策解释

8、太原市各人才服务窗口信息表

9、填表说明

10、2020年人才卡发放网点联系表

附件下载：附件下载 人才补助.zip

\xa0

\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0 ' + '太原市人力资源和社会保障局

\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0 ' + '2020年9月1日


'} +2020-09-18 10:38:58 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=5&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:38:59 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/4YmqC51L8EQeXGkoHAGgnG.htm?index=33> +{'biaoti': '太原市市场监督管理局关于开展2019年、2020年度山西省专利奖补资助项目申报工作的通知', + 'diqu': 1000008, + 'jianjie': '各县（市、区）市场监督管理局、不锈钢园区分局，各有关单位：根据《山西省市场监督管理局关于组织推荐2019年、2020年度山西省专利奖补资助项目的通知》（晋市监函 ' + '[2020] 209号）文件要求，太原...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/4YmqC51L8EQeXGkoHAGgnG.htm?index=33', + 'shijian': '2020-09-01', + 'wenjian': [{'file_name': '附件1：《山西省国内（外）发明专利专项资金资助申请表》.docx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200901/1598955071338079912.docx', + 'new_file': '/2020/09/7aTfn8fT_1598955071338079912.docx'}, + {'file_name': '附件2：《山西省专利资助专项资金申请汇总表》.xls', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200901/1598955078347040631.xls', + 'new_file': '/2020/09/J0mu19rL_1598955078347040631.xls'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/WiJNnWL9_icon_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_xls.gif', + 'new_file': '/2020/09/cvxeyvrZ_icon_xls.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

各县（市、区）市场监督管理局、不锈钢园区分局，各有关单位：

根据《山西省市场监督管理局关于组织推荐2019年、2020年度山西省专利奖补资助项目的通知》（晋市监函\xa0' + '[2020] ' + '209号）文件要求，太原市市场监督管理局即日起组织开展2019年、2020年度山西省专利奖补资助项目的受理、审核、推荐工作。现将有关事项通知如下：

一、资助对象

本次资助对象为太原市辖区内2019年10月1日至2020年9月30日之间授权的国内国外发明专利。

二、资助标准\xa0

国内授权的发明专利按每件5000元标准给予一次性资助，国外授权的发明专利按每件2万元标准给予一次性资助。

三、申报时间

本次资助项目申报时间为2020年8月31日至2020年10月23日。逾期不再受理。

四、申报要求

专利资助申请人应按下列要求如实提交相关资料，不得弄虚作假，凡提供虚假资料或相同项目重复申请者，一经发现，全额追回资助经费并追究相应责任。

（一）申请国内发明专利专项资金资助的，应报送下列材料：

1.《山西省国内（外）发明专利专项资金资助申请表》（见附件1）；

2.专利证书原件及复印件、国家知识产权局网站打印的收费信息查询页；

3.单位申请的须提交企业营业执照副本、事业单位法人证书或社团法人登记证书原件及复印件；

4.个人申请的须提交山西省户口簿或居住证、居民身份证及复印件；如由专利权人之外的他人代办的，同时提交委托书及代办人居民身份证原件及复印件；\xa0' + '

5.共有专利权的，应由第一专利权人申请，同时提交由共有权的全体专利权人签名或盖章的共有专利权人专利资金资助权属约定书；

6.其他相关证明材料；

注：材料1一式四份，材料2-6一式两份，其中一份无需装订，存档备查。

（二）申请国外发明专利专项资金资助的，应报送下列材料：

1.《山西省国内（外）发明专利专项资金资助申请表》（附件1）；

2.专利证书复印件及授权公告首页复印件；

3.专利证书及其著录项目的中文译文；

4.单位申请的须提交企业营业执照副本、事业法人或社团法人登记证书原件及复印件；

5.个人申请的须提交本人山西省户口簿或居住证、居民身份证。如由专利权人之外的他人代办，同时提交委托书及代办人居民身份证原件及复印件；

6.共有专利权的，应由第一专利权人申请，同时提交由共有权的全体专利权人签名或盖章的共有专利权人专利资金资助权属约定书；

7.其他相关证明材料。

注：材料1一式四份，材料2-7一式两份，其中一份无需装订，存档备查。

文件中提到的所有“原件”经市市场监管局审核后退回申请人，所有“复印件”加盖原件单位公章（居民身份证复印件由本人签名）。

五、申报方式

专利资助申请人按申报时间和要求向太原市市场监督管理局提交申请，由太原市市场监督管理局审核、汇总后报山西省市场监督管理局。

各县（市、区）市场监督管理局、不锈钢园区分局要广泛宣传,将本通知转发,使广大专利权人及时了解政府的资助政策。

专利资助申请人请将《山西省专利资助专项资金申请汇总表》电子件发指定邮箱：tyipbh@163.com。

材料报送地址：太原市新建南路139号太原市市场监督管理局（太原市知识产权局）506房间。

受理时间：每周一至周五\xa0上午9:00-12:00

\xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0下午3:00-5:00

联\xa0系\xa0人：李\xa0刚

联系电话：0351-7222741

\xa0

附件1：《山西省国内（外）发明专利专项资金资助申请表》.docx

附件2：《山西省专利资助专项资金申请汇总表》.xls

\xa0' + '

\xa0

太原市市场监督管理局

2020年8月31日


'} +2020-09-18 10:39:05 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=6&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:39:17 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=6&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:39:17 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/QA7wfDG2tnsVdHJgJYtCXK.htm?index=41> +{'biaoti': '关于申报山西省创新产品和服务的通知', + 'diqu': 1000008, + 'jianjie': '附件1：山西省创新产品和服务汇总表.xls附件2：山西省创新产品和服务推荐清单申请表.doc...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/QA7wfDG2tnsVdHJgJYtCXK.htm?index=41', + 'shijian': '2020-08-31', + 'wenjian': [{'file_name': '附件1：山西省创新产品和服务汇总表.xls', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200831/1598834838744044821.xls', + 'new_file': '/2020/09/8MkGvumj_1598834838744044821.xls'}, + {'file_name': '附件2：山西省创新产品和服务推荐清单申请表.doc', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200831/1598834845725063172.doc', + 'new_file': '/2020/09/BJ9Svqln_1598834845725063172.doc'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/image/20200831/1598834769886063557.jpg', + 'new_file': '/2020/09/QusaP1aH_1598834769886063557.jpg'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/image/20200831/1598834789107047625.jpg', + 'new_file': '/2020/09/bBmZarQV_1598834789107047625.jpg'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/image/20200831/1598834789169043895.jpg', + 'new_file': '/2020/09/WWjFsMw7_1598834789169043895.jpg'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/image/20200831/1598834797061059768.jpg', + 'new_file': '/2020/09/jY7ruAqz_1598834797061059768.jpg'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/image/20200831/1598834803714005487.jpg', + 'new_file': '/2020/09/PO4TEL5F_1598834803714005487.jpg'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/image/20200831/1598834810583006327.jpg', + 'new_file': '/2020/09/Zc6sJ2XW_1598834810583006327.jpg'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_xls.gif', + 'new_file': '/2020/09/NnCyuDte_icon_xls.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/vCzgrMsr_icon_doc.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

附件1：山西省创新产品和服务汇总表.xls

附件2：山西省创新产品和服务推荐清单申请表.doc


'} +2020-09-18 10:39:26 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=6&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:39:27 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/X4ii4pYH1tjpQss8weUBUm.htm?index=40> +{'biaoti': '关于组织推荐全国人工智能应用技术技能大赛参赛选手的通知', + 'diqu': 1000008, + 'jianjie': '晋人社厅函﹝2020﹞785号各市人社局，省直各委、办、厅、局，各中央驻晋、省属企业，各技工院校：根据《人力资源社会保障部 ' + '中国机械工业联合会关于举办2020年全国行业职业技能竞赛——全国人工智能应...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/X4ii4pYH1tjpQss8weUBUm.htm?index=40', + 'shijian': '2020-08-31', + 'wenjian': [{'file_name': '附件下载.zip', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200831/1598852608880087597.zip', + 'new_file': '/2020/09/OszsDTyG_1598852608880087597.zip'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_rar.gif', + 'new_file': '/2020/09/5NGAGAVi_icon_rar.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

晋人社厅函﹝2020﹞785号

各市人社局，省直各委、办、厅、局，各中央驻晋、省属企业，各技工院校：

根据《人力资源社会保障部\xa0\xa0' + '中国机械工业联合会关于举办2020年全国行业职业技能竞赛——全国人工智能应用技术技能大赛的通知》（人社部函[2020]84号）精神，为做好我省组队参赛工作，现就有关事项通知如下：

一、推荐选手条件

各单位所推荐项目选手必须符合人社部函[2020]84号规定的报名条件。

二、代表我省参加全国大赛各项目选手的确定办法

各单位确定推荐人选时，要充分考虑所推荐人选技能水平、过往参加各级各类职业技能大赛的成绩等，确保推荐人选是本领域各项目最优秀的选手。省人社厅将综合考量各单位推荐人选职业经历、身份条件特别是参赛经验等情况，兼顾推荐人选所在单位、所在地市竞赛工作基础，采用专家评审、集训选拔等方式确定最优秀的选手代表我省参加全国大赛。对在全国大赛中取得优异成绩的选手按国家和省里相关规定落实奖励政策。

三、报名截止时间：9月15日

联系人：王苗苗

联系电话：0351--7676046

电子邮箱：sxsjnb@163.com

\xa0' + '

附件：

全国人工智能应用技术技能大赛山西省选手推荐表

《人力资源社会保障部 ' + '中国机械工业联合会关于举办2020年全国行业职业技能竞赛——全国人工智能应用技术技能大赛的通知》（人社部函[2020]84号）

附件下载.zip

\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0' + '2020年8月24日




\xa0' + '


'} +2020-09-18 10:39:38 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=6&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:39:39 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/QgKHBXRsNi6G6o8RXeKjrc.htm?index=39> +{'biaoti': '综改区市场监督管理局关于组织推荐2019年、2020年度山西省专利奖补资助项目的通知', + 'diqu': 1000008, + 'jianjie': '各市场监管直属分局、示范区相关单位:为进一步激励创新，促进专利保护运用，根据《山西省人民政府办公厅关于印发山西省支持科技创新若干政策的通知》(晋政办发([2017] ' + '148 号)精神和山西省市场监督管...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/QgKHBXRsNi6G6o8RXeKjrc.htm?index=39', + 'shijian': '2020-08-31', + 'wenjian': [{'file_name': '1.《山西省国内(外)发明专利专项资金资助申请表》.docx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200831/1598853246985060256.docx', + 'new_file': '/2020/09/kWGT2Vud_1598853246985060256.docx'}, + {'file_name': '2.《山西省专利资助专项资金申请汇总表》 (1).xls', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200831/1598853253550075935.xls', + 'new_file': '/2020/09/jg6nTxHi_1598853253550075935.xls'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/AdMKDlog_icon_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_xls.gif', + 'new_file': '/2020/09/b4xdkb3q_icon_xls.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

各市场监管直属分局、示范区相关单位:

为进一步激励创新，促进专利保护运用，根据《山西省人民政府办公厅关于印发山西省支持科技创新若干政策的通知》(晋政办发([2017] ' + '148\xa0' + '号)精神和山西省市场监督管理局通知，现启动山西综改示范区2019年、2020年度国内国外授权发明专利及获中国专利奖资助项目申报。现将有关事项通知如下:

一、资助对象

本次资助对象为山西综改示范区辖区内2019年10月1日至2020年9月30日之间授权的国内国外发明专利项目。

二、资助标准\xa0

国内授权的发明专利按每件5000元标准给予一次性资助，国外授权的发明专利按每件2万元标准给予一次性资助。

三、申报时间

专利资助申请人向各直属分局递交申报材料的截止时间为2020年10月19日。逾期不再受理。

各直属分局将审核后的材料于2020年10月23日前报送综改示范区市场监督管理局知识产权和广告科，电子件发邮箱sfqsgk@163.com。

四、申报要求

专利资助申请人应按下列要求如实提交相关资料,不得弄虚作假，凡提供虚假资料或相同项目重复申请者，一经发现，全额追回资助经费并追究相应责任。

(一)申请国内发明专利专项资金资助的，应报送下列材料

1.《山西省国内发明专利专项资金资助申请表》(见附件1)一式三份;

2.专利证书复印件、国家知识产权局网站打印的收费信息查询页;

3.单位申请的须提交企业营业执照副本、事业单位法人证书或社团法人登记证书原件及复印件。

4.个人申请的须提交辖区在综改示范区的户口薄或居住证、居民身份证及复印件;如由专利权人之外的他人代办的，同时提交委托书及代办人居民身份证原件及复印件;

5.共有专利权的，应由第一专利权人申请，同时提交由共有权的全体专利权人签名或盖章的共有专利权人专利资金资助权属约定书;

6.其他相关证明材料。

(二)申请国外发明专利专项资金资助的，应报送下列材料

1.《山西省国外发明专利专项资金资助申请表》(见附件1)一式三份；

2.专利证书复印件及授权公告首页复印件;

3.专利证书及其著录项目的中文译文;

4.单位申请的须提交企业营业执照副本、事业法人或社团法人登记证书原件及复印件;

5.个人申请的须提交本人辖区为综改示范区的户口簿或居住证、居民身份证。如由专利权人之外的他人代办，同时提交委托书及代办人居民身份证原件及复印件;

6.共有专利权的，应由第一专利权人申请，同时提交由共有权的全体专利权人签名或盖章的共有专利权人专利资金资助权属约定书;

7.其他相关证明材料。

上文中提到的所有“原件”经综改示范区市场监管局各直属分局审核后退回申请人，所有“复印件”加盖原件单位公章(居民身份证复印件由本人签名)。

五、申报方式

专利资助申请人按要求向所在地直属分局提交申请，各直属分局审核、汇总后报综改区市场监督管理局知识产权和广告科。推荐国内外授权发明专利奖补的项目，各直属分局要填写《山西省专利资助专项资金申请汇总表)(见附件2)，一并上报，申报材料由综改示范区市场监督管理局汇总报省市场监督管理局。

六、联系方式

1.各直属分局联系人

直属学府产业园区分局联系人：薛泽宇\xa0 7028169\xa0 18636107589

直属唐槐产业园区分局联系人：樊晓波\xa0 7562130\xa0 ' + '13466820431

直属阳曲产业园区分局联系人：杨明\xa0\xa0 5229069 \xa0\xa0' + '18103511718

直属潇河产业园区分局联系人：邱丽婷\xa0 7562092 \xa013835111769

2.综改示范区市场监管局知识产权和广告科

联系人：孟涛\xa0\xa0\xa0电话：7035095

联系人：李千\xa0\xa0\xa0' + '电话：13653686783



附件:

1.《山西省国内(外)发明专利专项资金资助申请表》.docx

2.《山西省专利资助专项资金申请汇总表》 ' + '(1).xls


山西转型综合改革示范区市场监督管理局

\xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0 \xa0\xa0\xa0' + '2020年8月24日


'} +2020-09-18 10:39:47 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=7&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:39:49 [scrapy.extensions.logstats] INFO: Crawled 26 pages (at 7 pages/min), scraped 18 items (at 5 items/min) +2020-09-18 10:39:58 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=7&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:39:58 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/5eWa9ZcCkxkSx2XGT9vTFG.htm?index=47> +{'biaoti': '关于转发山西省交通运输厅《关于开展2020年度全省交通运输专业高级工程师评审工作的通知》的通知', + 'diqu': 1000008, + 'jianjie': '示范区各有关单位：根据山西省交通运输厅、山西省人力资源和社会保障厅《关于开展2020年度全省交通运输专业高级工程师评审工作的通知》（晋交人发〔2020〕282号）文件精神，各单位按要求进行预审，待审核...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/5eWa9ZcCkxkSx2XGT9vTFG.htm?index=47', + 'shijian': '2020-08-26', + 'wenjian': [{'file_name': '山西省交通运输厅、山西省人力资源和社会保障厅《关于开展2020年度全省交通运输专业高级工程师评审工作的通知》（晋交人发〔2020〕282号）.pdf', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200826/1598432643282041338.pdf', + 'new_file': '/2020/09/tb0hLeri_1598432643282041338.pdf'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_pdf.gif', + 'new_file': '/2020/09/cZ4wMhqp_icon_pdf.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

示范区各有关单位：

根据山西省交通运输厅、山西省人力资源和社会保障厅《关于开展2020年度全省交通运输专业高级工程师评审工作的通知》（晋交人发〔2020〕282号）文件精神，各单位按要求进行预审，待审核通过后，请申报人员于2020年10月13日前，将申报的纸质材料统一制作成PDF电子文档格式统一报送至山西综改示范区人才交流服务中心（龙盛街52号咨询中介园3楼）,联系人:王晖，联系电话：7562311。

\xa0

附件：山西省交通运输厅、山西省人力资源和社会保障厅《关于开展2020年度全省交通运输专业高级工程师评审工作的通知》（晋交人发〔2020〕282号）.pdf

\xa0' + '

山西转型综合改革示范区人才引进交流服务中心

2020年8月26日


'} +2020-09-18 10:40:09 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=7&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:40:09 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/CB2nh29qUccGJX66q55qcb.htm?index=46> +{'biaoti': '关于开展2020年山西省互联网企业20强评价工作的通知', + 'diqu': 1000008, + 'jianjie': '山西省互联网协会关于开展2020年山西省互联网企业20强评价工作的通知 ' + '各相关互联网企业：近年来，山西省顺应互联网产业发展新趋势，积极推动大数据、云计算、人工智能等信息技术与实体经济深度融合，新业态、...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/CB2nh29qUccGJX66q55qcb.htm?index=46', + 'shijian': '2020-08-27', + 'wenjian': [{'file_name': '1.2020年山西省互联网企业20强申报材料及要求.doc', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200827/1598495879016064034.doc', + 'new_file': '/2020/09/d4ShYz8f_1598495879016064034.doc'}, + {'file_name': '2.2020年山西省互联网企业20强申报承诺书.doc', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200827/1598495886459040100.doc', + 'new_file': '/2020/09/Z40WA9Ee_1598495886459040100.doc'}, + {'file_name': '3.2020年山西省互联网企业20强申报表.doc', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200827/1598495893246011079.doc', + 'new_file': '/2020/09/yTY7iCzZ_1598495893246011079.doc'}, + {'file_name': '4.2020年山西省互联网企业20强申报表填表说明.doc', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200827/1598495900350055947.doc', + 'new_file': '/2020/09/pIfmGtVR_1598495900350055947.doc'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/qxzjjpF8_icon_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/l5y6l943_icon_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/KR6RH1Od_icon_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/tMvF44nI_icon_doc.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

山西省互联网协会关于开展2020年山西省互联网企业20强评价工作的通知

\xa0' + '各相关互联网企业：

近年来，山西省顺应互联网产业发展新趋势，积极推动大数据、云计算、人工智能等信息技术与实体经济深度融合，新业态、新模式、新技术层出不穷，涌现出一批优秀互联网企业。为加强对新形势下山西省互联网行业发展研究，推进山西省互联网产业发展，在山西省通信管理局指导下，2019年，山西省互联网协会首次开展了山西省互联网企业20强评价工作，获得了业界、政府部门以及各级媒体的广泛关注和认可。2020年，为进一步展现我省互联网企业风采，塑造我省互联网行业品牌形象，山西省互联网协会将继续开展山西省互联网企业20强评价工作，并将于11月向社会发布《2020年山西省互联网企业20强发展报告》。作为报告的重要研究成果，将同步发布山西互联网企业20强、最具成长型和地市互联网领军企业等。

\xa0\xa0\xa0\xa0

本次评价工作将在以往工作的基础上，进一步优化评估方法，综合考量主管部门对企业的行业表彰与行政处罚，充分展现互联网企业综合竞争力与企业正面形象。


本次工作秉承“公开、透明、公正”的工作准则，由企业自愿申报，不收取任何费用。现将相关事宜通知如下：


一、申报资格


申报企业需同时满足以下条件：


（一）收入主要增长点来自互联网业务；


（二）主要收入来源地或运营总部位于山西省；


（三）2019年无重大违法违规行为。


二、需提供的信息


申报2020年山西省互联网企业20强需提供承诺书、申报表、增值电信业务经营许可证、审计报告以及其他证明或说明材料。申报最具创新型、最具成长型企业和各地市互联网领军企业等，只需按要求提供2020年山西省互联网企业20强申报材料即可，无需再填报任何其他表格。申报材料详单请见附件1。


如发现申报信息中存在虚假内容，将取消申报企业在本年度和未来两年的山西省互联网企业20强申报资格，并进行公示。


三、保密承诺


山西省互联网协会郑重承诺：在本次工作中，将严格控制原始数据的知悉范围，确保数据仅用于2020年山西省互联网企业20强评价及报告撰写工作。除了报告发布需要披露的有关数据外，其他数据均会严格保密。


四、申报方式和截止时间


请按照以下步骤进行申报：


（一）山西省互联网协会网站（http://www.issx.org.cn/）下载《2020年山西省互联网企业20强申报表》的doc格式版本；


（二）填写申报表（附件3），填表时请注意按《填表说明》（附件4）的要求填写；


（三）打印填好的承诺书（附件2），请法人代表或授权委托人签字、公司盖章，打印申报表、附页、各项证明和说明材料并骑缝加盖公章；


（四）将填写完成的申报表（doc格式），以及承诺书、申报表、申报表附页及各项证明和说明材料等文件盖章版的扫描件（jpg或pdf格式），通过电子邮件发送到下方联系邮箱（邮件主题请按格式“XXX企业申报2020年山西省互联网20强”填写），以完成申报（联系方式附后）。


申报截止日期为2020年9月25日（以电子邮件日期为准）。


五、评价及发布


（一）本次评价将评出2020年山西省互联网企业综合竞争力前20名；各地市互联网领军企业各1名。


（二）互联网行业最具创新型企业3名，主要从专利、著作权和创新模式等维度评价。


（三）互联网行业最具成长型企业3名，主要从收入、利润、用户、融资和业务发展等维度评价。


（四）评价结果预计将于2020年11月份向社会发布，发布时间地点另行通知。


山西省互联网行业良好形象的树立，需要广大互联网企业的共同参与；山西省互联网行业的健康发展，需要广大互联网企业的共同努力。感谢各企业对我们工作的支持与配合！


联\xa0系\xa0人:\xa0姚敏\xa0杨卓

联系电话：0351-8788861

邮\xa0\xa0\xa0\xa0' + '箱：sxhlwxh@163.com

\xa0

附件：

1.2020年山西省互联网企业20强申报材料及要求.doc

2.2020年山西省互联网企业20强申报承诺书.doc

3.2020年山西省互联网企业20强申报表.doc

4.2020年山西省互联网企业20强申报表填表说明.doc



山西省互联网协会

2020年8月26日


'} +2020-09-18 10:40:20 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=7&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:40:20 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/3TFJtvhUpjZYn97QtXTTYN.htm?index=45> +{'biaoti': '山西省农业农村厅办公室关于做好2020年度农业生产托管试点项目的通知', + 'diqu': 1000008, + 'jianjie': '晋农办经发〔2020〕196号各市农业农村局，吕梁、长治市农经中心：为指导实施好中央财政支持我省农业生产托管试点项目，带领小农户发展现代农业，推进农业生产托管服务规模经营，根据农业部办公厅、财政部办公...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/3TFJtvhUpjZYn97QtXTTYN.htm?index=45', + 'shijian': '2020-08-27', + 'wenjian': [{'file_name': '1.2020年承担农业生产托管试点县任务清单.docx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200827/1598506685949090242.docx', + 'new_file': '/2020/09/dgIVLGyU_1598506685949090242.docx'}, + {'file_name': '2.2020年XXX县农业生产托管服务试点项目组织实施方案（样式）.docx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200827/1598506695093076124.docx', + 'new_file': '/2020/09/BMJKfd0B_1598506695093076124.docx'}, + {'file_name': '3.2020年XXX县农业生产托管服务试点项目承诺书（样式）.docx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200827/1598506705022082321.docx', + 'new_file': '/2020/09/Pfud7aGR_1598506705022082321.docx'}, + {'file_name': '4.2020年XXX县农业生产托管服务试点项目XXX实施主体项目实施方案（样式）.docx', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200827/1598506712659075440.docx', + 'new_file': '/2020/09/B8qmg62E_1598506712659075440.docx'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/vP4YpL4t_icon_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/5LAQwLbp_icon_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/CUygaeL5_icon_doc.gif'}, + {'file_name': '_', + 'file_url': 'http://www.easyshb.com/extend/ueditor/dialogs/attachment/fileTypeImages/icon_doc.gif', + 'new_file': '/2020/09/fOIl6jcM_icon_doc.gif'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

晋农办经发〔2020〕196号

各市农业农村局，吕梁、长治市农经中心：

为指导实施好中央财政支持我省农业生产托管试点项目，带领小农户发展现代农业，推进农业生产托管服务规模经营，根据农业部办公厅、财政部办公厅《关于进一步做好农业生产社会化服务工作的通知》（农办计财〔2019〕54号）、《关于支持农业生产社会化服务工作的通知》（农办财〔2017〕41号）和省农业农村厅《关于下达2020年中央农业生产发展和农业资源及生态保护资金补助资金计划的通知》（晋农计财发〔2019〕78号）、《关于下达2020年中央农业生产发展资金（第二批）补助资金计划的通知》（晋农计财发〔2020〕39号）要求，现就做好2020年度农业生产托管试点项目工作通知如下。

一、总体要求

（一）指导思想

贯彻落实党的十九大提出的“健全农业社会化体系，实现小农户和现代农业发展有机衔接”的要求，紧紧围绕推进农业供给侧结构性改革，以带领小农户发展现代农业为主要目标，兼顾促进农业适度规模经营，通过政策引导小农户广泛接受农业生产托管、机械化烘干等社会化服务，努力培育主体多元、竞争充分的农业生产社会化服务市场，集中连片地推进机械化、规模化、集约化的绿色高效现代农业生产方式，着力提高农业综合效益和竞争力，促进农业绿色发展和资源可持续利用。

（二）基本原则

1.坚持服务小农户。要把引领小规模分散经营农户走向现代农业发展轨道作为发展农业生产社会化服务的重点。要始终坚持带动而不是代替农户发展的原则，把服务小农户作为政策支持的主要对象，着力解决小农户的规模化生产难题。

2.坚持推进服务带动型规模经营。要把突破小规模分散经营制约、发展农业规模化生产作为支持农业生产社会化服务的关键。要以支持农业生产托管为重点，推进服务带动型规模经营，在尊重农户独立经营主体地位前提下，集中连片推进规模化生产。

3.坚持服务重要农产品。要把提升粮棉油糖等重要农产品生产效益作为支持开展农业生产社会化服务的目标。通过改进农业生产方式，增强重要农产品供给保障能力，提高综合效益和竞争力。

4.坚持以市场为主导。要正确处理政府和市场之间的关系，充分发挥市场配置资源的决定性作用，财政补助重在引导培育市场，领域集中在生产社会化服务的关键和薄弱环节；补助标准不能影响服务价格形成，不能干扰农业服务市场正常运行，引导农业生产社会化服务长期健康发展。

二、项目内容

（一）项目目标

聚焦粮食等重要农产品和当地特色主导产业生产，优先支持粮食等大宗农产品关键且薄弱环节的生产性服务，为保障粮食安全和重要农产品的有效供给，提高综合效益与竞争力提供有效支撑。同时，鼓励各地积极探索发展区域特色农林产品生产社会化服务的财政支持方式，为拓宽农业生产社会化服务领域、开辟农业生产社会化服务市场积累经验。

（二）项目任务

2020年中央财政安排我省农业生产社会化服务资金33485万元，完成托管服务补助面积368万亩以上。按照省农业农村厅《关于下达2020年中央农业生产发展和农业资源及生态保护资金补助资金计划的通知》（晋农计财发〔2019〕78号）《关于下达2020年中央农业生产发展资金（第二批）补助资金计划的通知》（晋农计财发〔2020〕39号）任务清单，2020年承担托管服务任务的试点项目县94个(具体任务清单见附件1)。

（三）项目补助要求

1.补助环节

按照“围绕主导产业、突出重点环节、扩大覆盖范围、集中连片推进”原则，因地制宜选择农业生产关键且薄弱，单个农户做不了、做不好、不愿做的环节进行支持（已享受相同项目补贴的不能重复享受）。项目任务实施县要结合本地实际，区分轻重缓急，集中力量解决关键问题，重点选取1—3个关键薄弱环节集中进行补助。对于当地市场机制运作已基本成熟、农户已广泛接受、市场化程度较高的单一服务环节，原则上要逐步退出财政补助范围。

2.补助对象

具有一定规模、服务能力较强的村集体经济组织、服务型合作社和农业企业等托管服务组织。

3.补助标准

项目任务实施县应根据农业生产不同领域、不同环节、不同对象和市场发育成熟度，确定不同的财政补助标准，原则上财政补助占服务价格的比例不超过30%，单季作物亩均各关键环节补助总量不超过100元；对贫困地区、丘陵山区，原则上财政补助占服务价格的比例不超过40%，单季作物亩均各关键环节补助总量不超过130元;要分别确定服务小农户和规模经营主体的补助标准；根据农民的认知和接受程度，以及服务市场的发育成熟度，补助标准可相应逐步降低。项目任务实施县要根据自身条件，认真研究制定具体补助方式和运行机制，面向小农户开展的服务，补助资金可以补助服务主体，也可以补助农户，坚持让小农户最终受益。项目任务实施县安排服务小农户农业生产社会化服务的补助资金或面积,占比应高于60%；对接受服务的单个规模经营主体，应合理确定每年享受项目任务补助的资金总量上限，防止政策垒大户。要充分尊重小农户独立经营主体地位，积极支持村两委、集体经济组织、农民合作社发挥作用，组织推进小农户通过合作和联合实现耕地集中连片，统一开展农业生产托管，统一接受耕、种、防、收等生产服务，发展服务规模经营。具体补助标准在上述原则范围内由各试点县结合实际制定。

4.补助方式

依据《农业农村部、财政部关于做好2020年农业生产发展等项目实施工作的通知》（农计财发〔2020〕3号），资金补助采取先服务后补助的方式，即每个环节实施完毕并经审核验收合格后，对项目实施区域内的服务组织按环节兑付补助资金。服务组织要与服务对象签订服务合同，明确双方的责任和义务，财政按照服务合同实际作业量对服务组织或服务对象进行补助。

（四）项目实施流程

1.确定服务组织。项目试点县要在深入调研，广泛了解广大

农户和规模生产经营主体需求意愿，掌握当地农业生产托管服务组织及专业社会化服务组织的规模、能力、信誉、服务价格等因素进行综合评估基础上，公开规范择优选择服务组织作为项目实施主体,选择的服务组织应遵循《农业生产托管服务规范》《农业生产性服务指南》开展服务。每个县选择的单环节社会化服务组织原则上不少于3家，并优先支持安装机械专业监测传感器的服务主体，促进公平竞争的社会化服务市场形成和切实保障服务效果。项目试点县（市）要通过公众网站、电视、报纸等公共媒体公示服务组织名单，并公示举报电话。

2.签订服务合同。参加项目实施的服务组织要与用户签订服务合同，明确服务地块、服务面积、服务内容、作业时间、质量要求、质检验收等。

3.提供作业服务。服务组织按照服务合同要求提供相关服务。

4.拨付补助资金。项目县(市）级农业农村（农经）主管部门会同财政部门对服务组织每一个服务环节提供的服务面积服务质量进行科学核查的基础上，由项目县（市）农业农村（农经）主管部门向同级财政部门申请办理补贴资金结算，财政部门按照资金管理办法依据服务合同并结合中国农业社会化服务平台作业数据及时拨付项目补助资金。

5.及时总结经验。项目实施过程中及完成后，项目县（市）要依据《山西省农业生产托管项目绩效评价工作方案（试行）》及时开展绩效评价工作，收集整理实物动态影像资料和总结典型模式和成功经验、实施过程中存在的问题和改进措施等，并分别于10月30日和12月30日前报送项目阶段性执行情况；对2020年项目实施情况，要做好项目实施总结工作，全面总结分析项目执行情况，项目实施总结报告于2021年1月10日前报省农业农村厅，报告内容包括2020年已实施和2021年拟实施的耕地面积、作物、环节、市场服务价格、财政补助标准和补助规模等内容。

6.项目绩效考核。项目完成后，各市要对项目实施县的项目内容开展情况、实施效果、验收情况、资金兑付、档案资料存档情况等进行检查，开展绩效考核，并根据项目实际实施情况，给予总体评价，评价结果作为下年度资金分配和项目试点县确定的重要依据。省农业农村厅将对项目实施情况及绩效评价工作进行抽查。

7.项目退出机制。依据绩效考核结果等情况，对工作组织不力、未按要求开展工作的试点县坚决退出试点范围，对工作推进有力的试点县适当增加补助资金，对已形成稳定社会化服务市场、市场机制可有效发挥作用的支持环节或实施区域，鼓励试点县探索支持环节退出或降低支持标准、以腾出资金调整或扩大试点区域范围的机制措施。

三、保障措施

（一）强化组织领导。试点项目县（市）政府是试点项目实施落实的责任主体，要统筹协调农业农村（农经）、财政部门和乡镇政府等，确保项目落实。县级农业农村（农经）部门会同财政等部门制定组织实施方案，提出绩效目标，明确目标任务、试点内容、支持环节和运行机制，以县政府文件印发项目组织实施方案。省、市农业农村（农经）部门主要负责试点政策实施的业务指导、绩效评价和监督管理。县级农业农村（农经）等有关部门负责试点工作的执行落实和政策宣传，审核批复实施主体的项目实施方案，积极探索和创新农业生产社会化服务的工作机制和有效模式。

（二）强化实施指导。各级农业农村（农经）部门要加强农业社会化服务行业的管理和指导，要加强对托管服务主体履约情况的监管，将服务对象的满意度作为衡量服务质量的重要标准，对弄虚作假、服务面积和服务质量达不到合同要求、农民投诉多的服务主体，要按照合同约定及时取消其承担项目任务的资格、追究其违约责任。鼓励探索建立托管服务主体名录管理制度，建立农业农村（农经）部门、集体经济组织、农民代表、技术专家等多方参与的服务主体资格审查监督机制，对于纳入名录管理、服务能力强、服务效果好的组织，予以重点扶持。对于服务能力强、服务质量优、社会认可度高、运营管理规范、连续2年以上获得承担项目任务资格的服务主体，可以直接纳入名录库。

（三）强化资金监管。项目实施县要制定农业生产托管服务项目资金管理办法，明确补助资金使用范围、开支标准，落实资金使用计划（或方案）的制定、实施和审核责任。要切实加强资金监管，确保资金使用安全高效。对挤占、截留、挪用项目资金等违规违纪行为，按照国家有关规定追究有关单位和人员责任。

（四）强化经费保障。项目实施县（市）政府应安排必要的项目工作经费，用于专家团队服务、宣传培训与入户指导、监督检查、项目验收、试点经验总结与完善政策措施等。

（五）强化宣传引导。要引导服务组织创新服务方式和服务机制，加强服务质量和服务价格监管，推动制定行业服务标准。高度重视相关政策的宣传解释工作，充分尊重广大农户和服务组织意愿，注意调动农户和服务组织的积极性，营造推进农业生产托管服务的良好环境，鼓励引导广大农民和服务组织积极参与农业社会化服务。要加强农业生产托管调查研究，及时总结典型经验，充分发挥典型的示范引领作用，努力营造促进发展的良好氛围。

四、报送要求

（一）报送材料

1.项目县政府印发的项目组织实施方案（组织实施方案样式见附件2）；

2.政府保障农业托管服务试点项目工作顺利推进的承诺书（样式见附件3）。

（二）报送程序

项目县人民政府将印发的《项目组织实施方案》、承诺书于2020年9月30日前报市级农业农村（农经）局、省农业农村厅各两份备案。

省农业农村厅农村合作经济指导处

联 系 人：郝\xa0 丽

联系电话：0351-8235072

邮\xa0\xa0\xa0 ' + '箱：h18835953989@163.com

\xa0' + '

附件：

1.2020年承担农业生产托管试点县任务清单.docx

2.2020年XXX县农业生产托管服务试点项目组织实施方案（样式）.docx

3.2020年XXX县农业生产托管服务试点项目承诺书（样式）.docx

4.2020年XXX县农业生产托管服务试点项目XXX实施主体项目实施方案（样式）.docx

\xa0' + '

\xa0

山西省农业农村厅办公室

2020年8月25日


'} +2020-09-18 10:40:29 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=8&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:40:40 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber=8&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=) +2020-09-18 10:40:40 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.easyshb.com/article/PEDtEvHYWhCKCkZCTyQTEp.htm?index=53> +{'biaoti': '关于推荐申报晋中市工程系列专业职称评审专家的通知', + 'diqu': 1000008, + 'jianjie': '各相关单位： ' + '根据相关工作要求，拟对我市工程技术系列专业职称评审专家库进行换届、增补，现将有关事项通知如下：一、晋中市工程技术系列专业职称评审委员会评审等级：晋中市工程系列中、初级工程师。二、为保...', + 'laiyuan': '来源未知', + 'lianjie': 'http://www.easyshb.com/article/PEDtEvHYWhCKCkZCTyQTEp.htm?index=53', + 'shijian': '2020-08-25', + 'wenjian': [{'file_name': '评审委员会评委库组成人员推荐表(1).xls', + 'file_url': 'http://www.easyshb.com/ueditor/jsp/upload/file/20200825/1598344891889028087.xls', + 'new_file': '/2020/09/Xu8Z2FoN_1598344891889028087.xls'}], + 'xiangqing': '
\n' + '\t\t\t\t\t\t\t\t

各相关单位：

\xa0 \xa0' + '根据相关工作要求，拟对我市工程技术系列专业职称评审专家库进行换届、增补，现将有关事项通知如下：

一、晋中市工程技术系列专业职称评审委员会评审等级：晋中市工程系列中、初级工程师。

二、为保证评审工作的科学、公平、公正，特向社会诚聘评审专家，经推荐、选拔、批准后进入专家库，评审专家聘期为3年。聘期内将由晋中市人社局在专家库内随机抽取，参加我市工程系列专业职称评审工作。

三、具体推荐、申报的程序。

（一）在库专家

在库专家不需进行现场审核。在库专家如需调整评委会及专业选择的，应按照新申请专家程序及要求重新申请。

（二）新申请专家

1.征集方式

采取个人申报和组织推荐相结合的方式在晋中全市范围内征集专家。

2.新申请专家应同时具备以下条件：

（1）具有良好的职业道德和较高的业务素质，在评审活动中能够以客观公正、廉洁自律、遵纪守法为行为准则；

（2）精通本专业业务，熟悉行业人才队伍的发展现状和方向，了解职称评审有关政策，具有一定的人才评价工作经验；

（3）一般应具有工程技术领域副高级职称3年及以上或正高级职称；

（4）身体健康，工作单位为晋中市企事业单位；

（5）本人愿意以独立身份从事和参加职称评审工作，并自觉接受市人社局以及相关机构的监督与管理；

（6）没有违法违纪等不良记录；

（7）评委会要求的其他条件。

3.申请流程

（1）申请：打印《专业技术职务评审委员会评委库成员推荐表》。

（2）工作单位审核：所在工作单位对《《专业技术职务评审委员会评委库成员推荐表》进行审核，填写推荐意见，并加盖单位人事部门印章。

（3）现场审核：新申请专家于2020年9月11日前将相关资料提交至市工信局人事科（榆次区顺城街85号市政府南区1号楼709室）。审核材料包括：身份证、学历及学位证书、职称证书等原件及复印件。逾期不再受理。

\xa0' + '联系电话：2639519

\xa0' + '

晋中市工信局

2020年8月25日

评审委员会评委库组成人员推荐表(1).xls


'} diff --git a/demo1/logs/sxfagaiwei_2020_9.log b/demo1/logs/sxfagaiwei_2020_9.log new file mode 100644 index 0000000..169fd5d --- /dev/null +++ b/demo1/logs/sxfagaiwei_2020_9.log @@ -0,0 +1,104 @@ +2020-09-15 11:25:51 [scrapy.extensions.telnet] INFO: Telnet Password: a2570cb03adf56d2 +2020-09-15 11:25:51 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:25:51 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:25:51 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:25:52 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 11:25:52 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:25:52 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:25:52 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:25:53 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/wzzs/202006/t20200604_124281.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/jjmy/202003/t20200320_123242.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/jgtz/202003/t20200309_123080.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/gdzctz/202003/t20200305_123010.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/wzzs/202003/t20200302_122952.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/gdzctz/202002/t20200228_122934.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/kjws/202002/t20200221_122773.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/hjyzy/202002/t20200213_122703.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/kjws/202002/t20200212_122695.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/gdzctz/202002/t20200206_122635.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/kjws/202002/t20200205_122612.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/kjws/201912/t20191203_121756.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/kjws/201911/t20191126_121615.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/gdzctz/201911/t20191126_121614.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/kjws/201911/t20191118_121510.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/ncjj/201911/t20191112_121439.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/gdzctz/201911/t20191105_121319.shtml +2020-09-15 11:25:53 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/gdzctz/201911/t20191105_121301.shtml +2020-09-15 11:25:53 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:25:53 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:25:53 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 226, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 51247, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 1.543148, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 25, 53, 570449), + 'log_count/DEBUG': 1, + 'log_count/INFO': 29, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 15, 3, 25, 52, 27301)} +2020-09-15 11:25:53 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet Password: 67ddf8a79c0e9956 +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:17 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:17 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:17 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-16 08:47:17 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:17 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:17 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6036 +2020-09-16 08:47:17 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'DOWNLOAD_DELAY': 1, + 'LOG_FILE': 'logs/taiyuankjj_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} diff --git a/demo1/logs/sxgongxinting_2020_9.log b/demo1/logs/sxgongxinting_2020_9.log new file mode 100644 index 0000000..e50efe5 --- /dev/null +++ b/demo1/logs/sxgongxinting_2020_9.log @@ -0,0 +1,101 @@ +2020-09-15 11:24:04 [scrapy.extensions.telnet] INFO: Telnet Password: 9f00917b7af7e812 +2020-09-15 11:24:04 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:24:04 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:24:04 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:24:04 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 11:24:04 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:24:04 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:24:04 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:24:04 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:24:04 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1511 +2020-09-15 11:24:05 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1500 +2020-09-15 11:24:05 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1479 +2020-09-15 11:24:05 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1474 +2020-09-15 11:24:05 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1473 +2020-09-15 11:24:05 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1462 +2020-09-15 11:24:05 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1388 +2020-09-15 11:24:05 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1310 +2020-09-15 11:24:05 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1243 +2020-09-15 11:24:05 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1182 +2020-09-15 11:24:05 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1195 +2020-09-15 11:24:05 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1197 +2020-09-15 11:24:05 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1219 +2020-09-15 11:24:05 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1225 +2020-09-15 11:24:05 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1063 +2020-09-15 11:24:05 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:24:05 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:24:05 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 262, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 8294, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 0.451931, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 24, 5, 224221), + 'log_count/DEBUG': 1, + 'log_count/INFO': 26, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 15, 3, 24, 4, 772290)} +2020-09-15 11:24:05 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet Password: 60d158322cf5c039 +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-16 08:47:16 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:16 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6034 +2020-09-16 08:47:16 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'DOWNLOAD_DELAY': 1, + 'LOG_FILE': 'logs/sxzonggaishifanqu_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} diff --git a/demo1/logs/sxkejiting_2020_9.log b/demo1/logs/sxkejiting_2020_9.log new file mode 100644 index 0000000..1c3b8f4 --- /dev/null +++ b/demo1/logs/sxkejiting_2020_9.log @@ -0,0 +1,106 @@ +2020-09-15 11:23:21 [scrapy.extensions.telnet] INFO: Telnet Password: c1d9248c34ad74eb +2020-09-15 11:23:21 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:23:21 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:23:21 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:23:21 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 11:23:21 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:23:21 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:23:21 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:23:21 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:23:21 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/tcc/49699.jhtml +2020-09-15 11:23:21 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/sfc/49633.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/sfc/49632.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/gxc/50209.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/gxc/50208.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/jcyjc/50207.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/nckjc/50201.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/gxc/50116.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/wzj/50101.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/jcyjc/50100.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/sfc/50090.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/zlghc/50085.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/fzjhc/50080.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/jcyjc/50077.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/wzj/50076.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/gjhzc/50069.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/gjhzc/50068.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/nckjc/50067.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/nckjc/50066.jhtml +2020-09-15 11:23:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/wzj/50063.jhtml +2020-09-15 11:23:22 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:23:22 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:23:22 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 237, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 39035, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 0.740745, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 23, 22, 360149), + 'log_count/DEBUG': 1, + 'log_count/INFO': 31, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 15, 3, 23, 21, 619404)} +2020-09-15 11:23:22 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet Password: 39a7d349a785725b +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-16 08:47:16 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:16 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6032 +2020-09-16 08:47:16 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'DOWNLOAD_DELAY': 1, + 'LOG_FILE': 'logs/sxshangwuting_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} diff --git a/demo1/logs/sxshangwuting_2020_9.log b/demo1/logs/sxshangwuting_2020_9.log new file mode 100644 index 0000000..51eb789 --- /dev/null +++ b/demo1/logs/sxshangwuting_2020_9.log @@ -0,0 +1,110 @@ +2020-09-15 11:23:34 [scrapy.extensions.telnet] INFO: Telnet Password: ee22c12439cb5178 +2020-09-15 11:23:34 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:23:34 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:23:34 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:23:34 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 11:23:34 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:23:34 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:23:34 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:23:34 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:23:34 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=4cb2c090-e719-41d0-ac0f-1abe541f183e +2020-09-15 11:23:34 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=43efe7bb-0a96-4484-b9f4-9184f35b94e8 +2020-09-15 11:23:34 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=20355e00-5299-4693-b784-3ea132f68e12 +2020-09-15 11:23:34 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=9daf0688-0f5d-467c-8531-ba1cefc92770 +2020-09-15 11:23:34 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=0238484c-8496-4066-8996-3de03378979c +2020-09-15 11:23:34 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'fgw.shanxi.gov.cn': +2020-09-15 11:23:34 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=e8944693-fe8b-4385-be73-4aa7715056f1 +2020-09-15 11:23:35 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=b913adc3-775d-4c3c-9ef0-ccb66eb6987f +2020-09-15 11:23:35 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=318e14b2-ca25-4e91-b6b0-2b54a1f88348 +2020-09-15 11:23:35 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=923c9f58-34a3-4518-853c-b86f33787ebc +2020-09-15 11:23:35 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=dff5d8f1-a830-44f2-ba68-3e2af3c52638 +2020-09-15 11:23:35 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=d0a6ba2d-952b-4d93-8663-ae9a4008ae0a +2020-09-15 11:23:35 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=8be236d6-5365-44ef-990f-a6848a860346 +2020-09-15 11:23:35 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=f9a6ad01-6902-495a-84e4-6500c5e8f3cc +2020-09-15 11:23:35 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=9fbb7bad-1119-4be7-b6df-9ecf2feb34f3 +2020-09-15 11:23:35 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=50e277e2-9d8f-499e-816f-aea870f89c89 +2020-09-15 11:23:35 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=4ee60e63-acca-4c86-8d9c-099f7bd3aa4f +2020-09-15 11:23:35 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=c40c816b-a596-4f9f-94ac-1fe6154a7cf3 +2020-09-15 11:23:35 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=efa92a7b-16d3-496c-b07f-5a63525bafe1 +2020-09-15 11:23:35 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=31eb36b4-f197-4c3b-9162-2f332b050ced +2020-09-15 11:23:35 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=33bb2acd-de5d-442a-859f-2e9d95f73504 +2020-09-15 11:23:35 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:23:35 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:23:35 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 250, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 8192, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 0.765148, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 23, 35, 245648), + 'log_count/DEBUG': 2, + 'log_count/INFO': 31, + 'offsite/domains': 1, + 'offsite/filtered': 1, + 'request_depth_max': 1, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 15, 3, 23, 34, 480500)} +2020-09-15 11:23:35 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet Password: 1a617e64c04cecf7 +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-16 08:47:16 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:16 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6033 +2020-09-16 08:47:16 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'DOWNLOAD_DELAY': 1, + 'LOG_FILE': 'logs/sxgongxinting_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} diff --git a/demo1/logs/sxzonggaishifanqu_2020_9.log b/demo1/logs/sxzonggaishifanqu_2020_9.log new file mode 100644 index 0000000..8724685 --- /dev/null +++ b/demo1/logs/sxzonggaishifanqu_2020_9.log @@ -0,0 +1,1305 @@ +2020-09-15 11:24:22 [scrapy.extensions.telnet] INFO: Telnet Password: 5707a197a8bf59b8 +2020-09-15 11:24:22 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:24:22 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:24:22 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:24:22 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 11:24:22 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:24:22 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:24:22 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:24:23 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11490 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11483 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11479 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11473 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11470 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11469 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11459 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11456 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11454 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11435 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11433 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11411 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11410 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11408 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11405 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11395 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11394 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11393 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11392 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11391 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11365 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11362 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11359 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11358 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11331 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11320 +2020-09-15 11:24:23 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11318 +2020-09-15 11:24:23 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://zgq.shanxi.gov.cn/?pcyear=8-10) +2020-09-15 11:24:24 [scrapy.core.scraper] DEBUG: Scraped from <200 https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11533> +{'biaoti': '关于转发《太原市工业和信息化局关于组织申报2020年市级小微企业创业创新基地的通知》 ', + 'laiyuan': '山西转型综合改革示范区管理委员会', + 'lianjie': 'https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11533', + 'shijian': '2020-09-11', + 'wenjian': [{'file_name': '山西省小企业发展促进局关于印发《省级小微企业创业创新基地建设管理办法》的通知 ', + 'file_url': 'https://zgq.shanxi.gov.cn/Upload/file/20200911/20200911172739_6857.docx', + 'new_file': '/2020/09/VfVEp2tH_20200911172739_6857.docx'}, + {'file_name': '其他表格附件', + 'file_url': 'https://zgq.shanxi.gov.cn/Upload/file/20200911/20200911172759_4373.docx', + 'new_file': '/2020/09/xECEVY1F_20200911172759_4373.docx'}], + 'xiangqing': '

\r\n' + '\t示范区各有关单位：

\r\n' + '

\r\n' + '

\r\n' + '\t为进一步提升小微企业创业创新基地建设和服务水平，推动大众创业、万众创新，现开展2020年市级小微企业创业创新基地（以下简称“市级小微企业双创基地”）认定工作。现将有关事项通知如下：

\r\n' + '

\r\n' + '

\r\n' + '\t一、申报条件

\r\n' + '

\r\n' + '

\r\n' + '\t（一）市级小微企业双创基地申报条件参照山西省小企业发展促进局《省级小微企业创业创新基地建设管理办法》（〔2020〕4号）中省级小微企业创业创新基地申报条件。

\r\n' + '

\r\n' + '

\r\n' + '\t（二）贫困地区申报市级双创基地，认定条件中的入驻企业户数可放宽至原标准的70%，其他有数量指标的条件放宽至原标准的50%。

\r\n' + '

\r\n' + '

\r\n' + '\t（三）对各地新涌现出的小微企业双创基地新类型、新模式，按照包容支持、鼓励创新的原则，经各县（市、区）、开发区中小企业主管部门同意推荐并附推荐理由后，可适当放宽申报条件，参加申报和认定。

\r\n' + '

\r\n' + '

\r\n' + '\t（四）根据太原市人民政府《关于应对新型冠状病毒感染肺炎疫情支持中小微企业发展的意见》中第六条“对在疫情期间减免承租的中小微企业租金、管理费、物业费的创业基地，今后优先予以政策扶持”，小微企业双创基地提供相关应证资料，可适当放宽申报条件，在市级小微企业双创基地评审中作为加分项。

\r\n' + '

\r\n' + '

\r\n' + '\t二、申报材料

\r\n' + '

\r\n' + '

\r\n' + '\t申报市级小微企业双创基地应提交如下资料：

\r\n' + '

\r\n' + '

\r\n' + '\t（一）太原市小微企业创业创新基地申请表（附件1）。

\r\n' + '

\r\n' + '

\r\n' + '\t（二）入驻小微企业双创基地的小微企业名单、入驻企业基本情况表（附件2）及营业执照影印件。

\r\n' + '

\r\n' + '

\r\n' + '\t（三）申报主体（小微企业双创基地建设或运营主体）营业执照副本（复印件）。

\r\n' + '

\r\n' + '

\r\n' + '\t（四）小微企业双创基地发展规划。

\r\n' + '

\r\n' + '

\r\n' + '\t（五）小微企业双创基地主要管理人员、服务人员名单及学历、职称。开展公共服务的证明材料（文件、照片、人员签到表等）。

\r\n' + '

\r\n' + '

\r\n' + '\t（六）县级人民政府或小微企业双创基地制定的入驻企业优惠政策措施（包括厂房、场地租金优惠等）及相关印证材料。

\r\n' + '

\r\n' + '

\r\n' + '\t（七）土地、房屋的不动产权证书（或租赁合同）复印件。

\r\n' + '

\r\n' + '

\r\n' + '\t（八）提供申报主体的财务制度、财务人员名单及申报截止日期上月度的基地纳税财务报表。

\r\n' + '

\r\n' + '

\r\n' + '\t（九）上一年度与本小微企业双创基地相关的专项审计报告或本年度截止申报期之前的专项审计报告（包含双创基地建设投入情况、服务成本、入驻企业户数等）复印件（原件在评审时带到现场供专家查验），审计报告应具有可查询的条形码。\xa0\xa0\xa0' + '

\r\n' + '

\r\n' + '

\r\n' + '\t（十）申请认定的小微企业双创基地周边租金询价表（附件3）。

\r\n' + '

\r\n' + '

\r\n' + '\t（十一）申报单位对申报资料和附属文件真实性承诺书。

\r\n' + '

\r\n' + '

\r\n' + '\t以上资料均需加盖申报主体公章。需另附的其他应证资料按顺序后附。

\r\n' + '

\r\n' + '

\r\n' + '\t申报材料应按顺序装订成册并编有页码，内容要与申报条件相符，印证材料要详实准确。

\r\n' + '

\r\n' + '

\r\n' + '\t三、申报工作要求

\r\n' + '

\r\n' + '

\r\n' + '\t（一）各申报单位及推荐单位应确保申报材料真实准确，如发现造假行为，将取消申报单位认定资格且三年内不得重新申报；同时，追回奖励资金，向有关部门建议列入失信名单，并依法依规追究推荐单位责任。

\r\n' + '

\r\n' + '

\r\n' + '\t（二）请各相关单位认真做好组织申报工作，并于9月24日前将申报材料电子版发至邮箱：zgqscfwzx@126.com，纸质版一式两份交到管委会1035室。

\r\n' + '

\r\n' + '

\r\n' + '\t

\xa0' + '

\r\n' + '

\r\n' + '

\r\n' + '\t联系人：卢艳蓉

\r\n' + '

\r\n' + '

\r\n' + '\t联系电话：7031676

\r\n' + '

\r\n' + '

\r\n' + '\t

\xa0' + '

\r\n' + '

\r\n' + '

\r\n' + '\t附件1：山西省小企业发展促进局关于印发《省级小微企业创业创新基地建设管理办法》的通知 ' + '

\r\n' + '

\r\n' + '

\r\n' + '\t附件2：其他表格附件

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\r\n' + '

\r\n' + '

\r\n' + '\t2020年9月11日\r\n' + '

\r\n' + '
'} +2020-09-15 11:24:25 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://zgq.shanxi.gov.cn/?pcyear=8-10) +2020-09-15 11:24:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11514> +{'biaoti': '山西转型综合改革示范区科学技术协会招聘公告 ', + 'laiyuan': '山西转型综合改革示范区管理委员会', + 'lianjie': 'https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11514', + 'shijian': '2020-09-10', + 'wenjian': [{'file_name': '：《综改区科学技术协会工作人员应聘报名登记表》', + 'file_url': 'https://zgq.shanxi.gov.cn/Upload/file/20200910/20200910102049_8037.doc', + 'new_file': '/2020/09/ooUBCLvh_20200910102049_8037.doc'}], + 'xiangqing': '

\r\n' + '\t根据工作需要，现委托山西转型综合改革示范区人力资源服务有限公司，面向社会公开招聘合同制派遣员工2名从事科协工作。

\r\n' + '

\r\n' + '

\r\n' + '\t一、用工形式

\r\n' + '

\r\n' + '

\r\n' + '\t劳务派遣形式。被派遣人员与山西转型综合改革示范区人力资源服务有限公司签订《劳务派遣劳动合同》。

\r\n' + '

\r\n' + '

\r\n' + '\t二、招聘原则

\r\n' + '

\r\n' + '

\r\n' + '\t按照公开公正、公平竞争、择优聘用的原则实施本次招聘工作。

\r\n' + '

\r\n' + '

\r\n' + '\t三、报考条件

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0 \xa0' + '（1）山西省户籍。

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0 \xa0 ' + '（2）拥护中华人民共和国宪法，遵守国家法律法规，遵纪守法，品行端正。

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0\xa0 ' + '（3）具有全日制本科及以上学历。

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0\xa0 ' + '（4）年龄在18周岁以上，35周岁以下（自公告发布之日算起）。

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0 \xa0' + '（5）适应岗位要求的身体条件。

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0 ' + '有以下情形之一的，不得报考：

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0' + '1.曾因犯罪受过刑事处罚和曾被开除公职的人员；

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0' + '2.受党纪政纪处分,处分期未满的人员；

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0' + '3.因犯错误正在接受审查或未作出结论的人员；

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0' + '4.现役军人、全日制在读学生不得报名；

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0' + '5.其它不符合报考资格条件的人员。

\r\n' + '

\r\n' + '

\r\n' + '\t四、聘用岗位要求

\r\n' + '

\r\n' + '\r\n' + '\t\r\n' + '\t\t\r\n' + '\t\t\t\r\n' + '\t\t\t\r\n' + '\t\t\t\r\n' + '\t\t\t\r\n' + '\t\t\t\r\n' + '\t\t\t\r\n' + '\t\t\r\n' + '\t\t\r\n' + '\t\t\t\r\n' + '\t\t\t\r\n' + '\t\t\t\r\n' + '\t\t\t\r\n' + '\t\t\t\r\n' + '\t\t\t\r\n' + '\t\t\r\n' + '\t\r\n' + '
\r\n' + '\t\t\t\t

\r\n' + '\t\t\t\t\t岗位

\r\n' + '\t\t\t\t

\r\n' + '\t\t\t		\r\n' + '\t\t\t\t

\r\n' + '\t\t\t\t\t聘用人数

\r\n' + '\t\t\t\t

\r\n' + '\t\t\t		\r\n' + '\t\t\t\t

\r\n' + '\t\t\t\t\t学历要求

\r\n' + '\t\t\t\t

\r\n' + '\t\t\t		\r\n' + '\t\t\t\t

\r\n' + '\t\t\t\t\t工作地点

\r\n' + '\t\t\t\t

\r\n' + '\t\t\t		\r\n' + '\t\t\t\t

\r\n' + '\t\t\t\t\t岗位需求

\r\n' + '\t\t\t\t

\r\n' + '\t\t\t		\r\n' + '\t\t\t\t

\r\n' + '\t\t\t\t\t专业要求

\r\n' + '\t\t\t\t

\r\n' + '\t\t\t
\r\n' + '\t\t\t\t

\r\n' + '\t\t\t\t\t科学技术协会

\r\n' + '\t\t\t\t

\r\n' + '\t\t\t		\r\n' + '\t\t\t\t

\r\n' + '\t\t\t\t\t2

\r\n' + '\t\t\t\t

\r\n' + '\t\t\t		\r\n' + '\t\t\t\t

\r\n' + '\t\t\t\t\t本科及以上

\r\n' + '\t\t\t\t

\r\n' + '\t\t\t		\r\n' + '\t\t\t\t

\r\n' + '\t\t\t\t\t山西转型综合改革示范区

\r\n' + '\t\t\t\t

\r\n' + '\t\t\t		\r\n' + '\t\t\t\t

\r\n' + '\t\t\t\t\t擅长excel、办公自动化，有较强写作功底和沟通能力，并且有1年以上工作经验。\u2003' + '

\r\n' + '\t\t\t\t

\r\n' + '\t\t\t		\r\n' + '\t\t\t\t

\r\n' + '\t\t\t\t\t中文类相关专业、工商管理专业、经济管理专业，

\r\n' + '\t\t\t\t

\r\n' + '\t\t\t
\r\n' + '

\r\n' + '\t

\xa0' + '

\r\n' + '

\r\n' + '

\r\n' + '\t五、招聘程序

\r\n' + '

\r\n' + '

\r\n' + '\t此次招聘程序为发布公告、网上报名、资格审查、考试、体检、公示和录用等环节。

\r\n' + '

\r\n' + '

\r\n' + '\t（一）、发布公告

\r\n' + '

\r\n' + '

\r\n' + '\t招聘的相关事宜通过山西转型综合改革示范区管理委员会官网（http://zgq.shanxi.gov.cn/）、山西转型综合改革示范区人力资源服务有限公司官网（http://sxzgqhr.cn/）以及公众号“山西综改区HR”同步发布。

\r\n' + '

\r\n' + '

\r\n' + '\t（二）网上报名

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0\xa0 ' + '报名时间：2020年9月11 ' + '日——\xa0' + '9月13 ' + '日

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0\xa0 ' + '报名方式：网上填报资料报名 \r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0\xa0 ' + '报名邮箱：sxzgsfqhr@vip.163.com

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0\xa0 ' + '联系人及联系方式：0351-7037677 \xa0' + '李女士

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0\xa0' + '0351-7562715\xa0\xa0' + '郝女士

\r\n' + '

\r\n' + '

\r\n' + '\t（三）资格审查

\r\n' + '

\r\n' + '

\r\n' + '\t应聘者须关注山西转型综合改革示范区人力资源服务有限公司官方微信公众号“山西综改区HR”，选择菜单中“在线报名”填写“应聘报名信息”，同时填写《综改区科学技术协会工作人员应聘报名登记表》（附一寸免冠照片）及其他资历材料的电子版扫描成电子文档作为附件，压缩打包后发送至指定报名邮箱（压缩包命名格式“姓名-岗位”）。附件包括：

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0\xa0 ' + '1、《综改区科学技术协会工作人员应聘报名登记表》

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0\xa0 ' + '2、本人有效身份证

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0\xa0 ' + '3、户口薄（首页及本人页）

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0\xa0 ' + '4、毕业证

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0\xa0 ' + '5、学信网认证的《教育部学历认证书电子注册备案表》（学信网免费认证）5、留学人员应提供教育部中国留学服务中心出具的境外学历认证书

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0\xa0 ' + '6、无犯罪记录证明（山西公安手机APP下载打印）。

\r\n' + '

\r\n' + '

\r\n' + '\t报名者要对报名材料的真实性负责，报名审核组将对所有报名者的提交材料逐一进行严格审查，如提供虚假报名信息的，一经查实，即取消报考资格。

\r\n' + '

\r\n' + '

\r\n' + '\t经审查符合报名资格条件参加考试的人员，电话通知本人。不符合报名资格条件人员不再另行通知。

\r\n' + '

\r\n' + '

\r\n' + '\t（四）考试

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0' + '1、地点：咨询中介园（太原市小店区龙盛街52号）三层

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0' + '2、形式：考试采取多轮面试的方式进行，主要采取结构化面试的方法。通过公文测试和回答问题等方式测评报考人员报考岗位所要求的基本素质及对问题综合判断、逻辑分析、应变能力等。考试成绩满分100分。

\r\n' + '

\r\n' + '

\r\n' + '\t（五）体检

\r\n' + '

\r\n' + '

\r\n' + '\t体检人员确定按照考试总成绩从高分到低分的顺序1：1的比例确定参加体检人员名单，如有并列，加试一场面试，成绩按面试加试成绩排序。

\r\n' + '

\r\n' + '

\r\n' + '\t体检由公开招聘领导组组织，体检标准参照《公务员录用体检通用标准（试行）》，费用自理，体检不合格的人员取消其拟聘用资格。

\r\n' + '

\r\n' + '

\r\n' + '\t（六）公示

\r\n' + '

\r\n' + '

\r\n' + '\t根据体检结果，确定拟录用人员，对拟录用人员名单在报名网站公示。公示期为3个工作日，公示期满无异议，按规定办理相关手续。

\r\n' + '

\r\n' + '

\r\n' + '\t（七）录用

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0' + '1.拟录用工作人员由山西转型综合改革示范区人力资源服务有限公司与其签订为期三年的劳动合同，在区人力资源部分别备案。

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0' + '2.录用人员实行三个月的试用期，试用期不合格的取消录用资格。

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0' + '3.招聘考试总成绩一年内有效，空缺岗位按照考试成绩由高到低的顺序递补。

\r\n' + '

\r\n' + '

\r\n' + '\t六、录用岗位工资待遇及保险

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0 ' + '（1）工资薪酬：3000元/人/月（含社保公积金个人部分）；

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0 ' + '（2）保险待遇：缴纳五项社会保险（养老、医疗、工伤、生育、失业）及住房公积金。

\r\n' + '

\r\n' + '

\r\n' + '\t七、注意事项

\r\n' + '

\r\n' + '

\r\n' + '\t（1）报考人员填报的个人信息和提交的材料应当真实、准确，凡不符合报考条件、岗位要求或弄虚作假的，一经查实，即取消考试资格或录用资格，并记录在案；如已签订劳动合同的，山西转型综合改革示范区人力资源服务有限公司公司应据此解除合同，造成的后果由报考者本人承担。

\r\n' + '

\r\n' + '

\r\n' + '\t（2）本次招聘，不委托任何机构举办考试辅导培训班，也不指定任何参考用书和资料。

\r\n' + '

\r\n' + '

\r\n' + '\t（3）关于本次招聘的所有相关通知、公告、详细信息均需关注公众号“山西综改区HR”获得。如有变化，以山西转型综合改革示范区人力资源服务有限公司通知为准，且具有最终解释权。 \r\n' + '

\r\n' + '

\r\n' + '\t\xa0\r\n' + '

\r\n' + '

\r\n' + '\t\xa0' + '附件：《综改区科学技术协会工作人员应聘报名登记表》

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0 ' + '2020年9月10日\r\n' + '

\r\n' + '
'} +2020-09-15 11:24:26 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://zgq.shanxi.gov.cn/?pcyear=8-10) +2020-09-15 11:24:26 [scrapy.core.scraper] ERROR: Spider error processing (referer: https://zgq.shanxi.gov.cn/?pcyear=8-10) +Traceback (most recent call last): + File "C:\e\python3\lib\site-packages\scrapy\utils\defer.py", line 120, in iter_errback + yield next(it) + File "C:\e\python3\lib\site-packages\scrapy\utils\python.py", line 346, in __next__ + return next(self.data) + File "C:\e\python3\lib\site-packages\scrapy\utils\python.py", line 346, in __next__ + return next(self.data) + File "C:\e\python3\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable + for r in iterable: + File "C:\e\python3\lib\site-packages\scrapy\spidermiddlewares\offsite.py", line 29, in process_spider_output + for x in result: + File "C:\e\python3\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable + for r in iterable: + File "C:\e\python3\lib\site-packages\scrapy\spidermiddlewares\referer.py", line 340, in + return (_set_referer(r) for r in result or ()) + File "C:\e\python3\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable + for r in iterable: + File "C:\e\python3\lib\site-packages\scrapy\spidermiddlewares\urllength.py", line 37, in + return (r for r in result or () if _filter(r)) + File "C:\e\python3\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable + for r in iterable: + File "C:\e\python3\lib\site-packages\scrapy\spidermiddlewares\depth.py", line 58, in + return (r for r in result or () if _filter(r)) + File "C:\e\python3\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable + for r in iterable: + File "C:\e\scrapywork\demo1\demo1\spiders\shanxizonggaiquSpider.py", line 81, in page_url + self.tihuan_img_return(item, self.settings.get('MESSAGE'), response) + File "C:\e\scrapywork\demo1\demo1\Util.py", line 148, in tihuan_img_return + houzui = single_src_file['file_url'][single_src_file['file_url'].rfind('/') + 1:] +AttributeError: 'NoneType' object has no attribute 'rfind' +2020-09-15 11:24:26 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:24:26 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:24:26 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 1262, + 'downloader/request_count': 4, + 'downloader/request_method_count/GET': 4, + 'downloader/response_bytes': 324367, + 'downloader/response_count': 4, + 'downloader/response_status_count/200': 4, + 'elapsed_time_seconds': 4.44958, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 24, 26, 809101), + 'item_scraped_count': 2, + 'log_count/DEBUG': 6, + 'log_count/ERROR': 1, + 'log_count/INFO': 38, + 'request_depth_max': 1, + 'response_received_count': 4, + 'scheduler/dequeued': 4, + 'scheduler/dequeued/memory': 4, + 'scheduler/enqueued': 4, + 'scheduler/enqueued/memory': 4, + 'spider_exceptions/AttributeError': 1, + 'start_time': datetime.datetime(2020, 9, 15, 3, 24, 22, 359521)} +2020-09-15 11:24:26 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet Password: d2b2a19ce84f85a3 +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-16 08:47:16 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:16 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6035 +2020-09-16 08:47:16 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'DOWNLOAD_DELAY': 1, + 'LOG_FILE': 'logs/sxfagaiwei_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} diff --git a/demo1/logs/taiyuangongyehexinxihuaju_2020_9.log b/demo1/logs/taiyuangongyehexinxihuaju_2020_9.log new file mode 100644 index 0000000..52ac1fd --- /dev/null +++ b/demo1/logs/taiyuangongyehexinxihuaju_2020_9.log @@ -0,0 +1,102 @@ +2020-09-15 11:26:36 [scrapy.extensions.telnet] INFO: Telnet Password: c6e85d4b0dcad085 +2020-09-15 11:26:36 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:26:36 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:26:36 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:26:36 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 11:26:36 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:26:36 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:26:36 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:26:36 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:26:37 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/09/09/1009086.shtml +2020-09-15 11:26:37 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/09/08/1009024.shtml +2020-09-15 11:26:37 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/09/08/1009023.shtml +2020-09-15 11:26:37 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/07/29/996943.shtml +2020-09-15 11:26:37 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/07/14/992583.shtml +2020-09-15 11:26:37 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/07/07/991266.shtml +2020-09-15 11:26:37 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/05/21/979674.shtml +2020-09-15 11:26:37 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'mp.weixin.qq.com': +2020-09-15 11:26:37 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/05/20/979447.shtml +2020-09-15 11:26:37 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/05/19/979251.shtml +2020-09-15 11:26:37 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/04/20/970538.shtml +2020-09-15 11:26:37 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/03/27/965251.shtml +2020-09-15 11:26:37 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/03/27/965256.shtml +2020-09-15 11:26:37 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:26:37 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:26:37 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 245, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 17676, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 0.612552, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 26, 37, 303151), + 'log_count/DEBUG': 2, + 'log_count/INFO': 23, + 'offsite/domains': 1, + 'offsite/filtered': 3, + 'request_depth_max': 1, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 15, 3, 26, 36, 690599)} +2020-09-15 11:26:37 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:17 [scrapy.extensions.telnet] INFO: Telnet Password: ff33c7fb5df2dc19 +2020-09-16 08:47:17 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:17 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:17 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:17 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-16 08:47:17 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:17 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:17 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6038 +2020-09-16 08:47:17 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'DOWNLOAD_DELAY': 1, + 'LOG_FILE': 'logs/taiyuanshangwuju_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} diff --git a/demo1/logs/taiyuankjj_2020_9.log b/demo1/logs/taiyuankjj_2020_9.log new file mode 100644 index 0000000..9c17ec3 --- /dev/null +++ b/demo1/logs/taiyuankjj_2020_9.log @@ -0,0 +1,203 @@ +2020-09-15 11:26:10 [scrapy.extensions.telnet] INFO: Telnet Password: 423034b8342a486e +2020-09-15 11:26:10 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:26:11 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:26:11 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:26:11 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 11:26:11 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:26:11 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:26:11 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:26:11 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:26:11 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/09/07/1008391.shtml +2020-09-15 11:26:11 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/09/04/1008199.shtml +2020-09-15 11:26:11 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/08/21/1004590.shtml +2020-09-15 11:26:11 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/08/13/1001630.shtml +2020-09-15 11:26:11 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/08/08/999926.shtml +2020-09-15 11:26:11 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/07/31/997727.shtml +2020-09-15 11:26:11 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/07/17/993580.shtml +2020-09-15 11:26:11 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/06/23/988275.shtml +2020-09-15 11:26:11 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/06/22/988019.shtml +2020-09-15 11:26:11 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/06/19/987592.shtml +2020-09-15 11:26:11 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/06/15/986244.shtml +2020-09-15 11:26:11 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/06/15/986238.shtml +2020-09-15 11:26:11 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/06/15/986237.shtml +2020-09-15 11:26:11 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/06/15/986236.shtml +2020-09-15 11:26:12 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://kjj.taiyuan.gov.cn/zfxxgk/gggs/index.shtml) +2020-09-15 11:26:12 [scrapy.core.scraper] DEBUG: Scraped from <200 http://kjj.taiyuan.gov.cn/doc/2020/09/12/1010113.shtml> +{'biaoti': '关于征求太原市地方标准《科技成果评价规范（征求意见稿）》意见的通知', + 'laiyuan': '太原市科学技术局', + 'lianjie': 'http://kjj.taiyuan.gov.cn/doc/2020/09/12/1010113.shtml', + 'shijian': '2020-09-12', + 'wenjian': [{'file_name': '1.科技成果评价规范（征求意见稿）.doc', + 'file_url': 'http://kjj.taiyuan.gov.cn/uploadfiles/202009/12/2020091222053429459132.doc', + 'new_file': '/2020/09/Yys4ES6z_2020091222053429459132.doc'}, + {'file_name': '2.地方标准征求意见反馈表.doc', + 'file_url': 'http://kjj.taiyuan.gov.cn/uploadfiles/202009/12/2020091221401014098186.doc', + 'new_file': '/2020/09/ucvansUw_2020091221401014098186.doc'}], + 'xiangqing': '
\n' + ' \n' + ' \n' + '

各相关单位和个人：

\n' + '\n' + '

根据国家《地方标准管理办法》要求，现就太原市科学技术局提出，太原技术转移促进中心、山西产业互联网研究院、山西省大众科技评估中心起草的地方标准《科技成果评价规范（征求意见稿）》，向社会公开征求意见，请各有关单位及个人提出意见，并填写《征求意见反馈表》，于2020年10月11日前反馈至市科技局计划处。

\n' + '\n' + '

联 系 人：张晓军

\n' + '\n' + '

联系电话：4223750

\n' + '\n' + '

电子邮箱：cxfz701@163.com

\n' + '\n' + '

\xa0

\n' + '\n' + '

附\xa0\xa0\xa0\xa0件：

\n' + '\n' + '

1.科技成果评价规范（征求意见稿）.doc

\n' + '\n' + '

2.地方标准征求意见反馈表.doc

\n' + '\n' + '

\xa0

\n' + '\n' + '

\xa0

\n' + '\n' + '

太原市科学技术局

\n' + '\n' + '

2020年9月12日

\n' + '\n' + ' \n' + '
'} +2020-09-15 11:26:12 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:26:12 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:26:12 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 555, + 'downloader/request_count': 2, + 'downloader/request_method_count/GET': 2, + 'downloader/response_bytes': 33217, + 'downloader/response_count': 2, + 'downloader/response_status_count/200': 2, + 'elapsed_time_seconds': 1.491522, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 26, 12, 594548), + 'item_scraped_count': 1, + 'log_count/DEBUG': 3, + 'log_count/INFO': 25, + 'request_depth_max': 1, + 'response_received_count': 2, + 'scheduler/dequeued': 2, + 'scheduler/dequeued/memory': 2, + 'scheduler/enqueued': 2, + 'scheduler/enqueued/memory': 2, + 'start_time': datetime.datetime(2020, 9, 15, 3, 26, 11, 103026)} +2020-09-15 11:26:12 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:17 [scrapy.extensions.telnet] INFO: Telnet Password: d2a8a3ac7c4697ab +2020-09-16 08:47:17 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:17 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:17 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:17 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-16 08:47:17 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:17 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:17 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6037 +2020-09-16 08:47:17 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'DOWNLOAD_DELAY': 1, + 'LOG_FILE': 'logs/taiyuangongyehexinxihuaju_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} diff --git a/demo1/logs/taiyuanshangwuju_2020_9.log b/demo1/logs/taiyuanshangwuju_2020_9.log new file mode 100644 index 0000000..b796a1a --- /dev/null +++ b/demo1/logs/taiyuanshangwuju_2020_9.log @@ -0,0 +1,1985 @@ +2020-09-15 11:26:57 [scrapy.extensions.telnet] INFO: Telnet Password: 67745fec6d0770cf +2020-09-15 11:26:57 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:26:57 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:26:57 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:26:57 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 11:26:57 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:26:57 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:26:57 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:26:57 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:26:57 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/09/07/1008591.shtml +2020-09-15 11:26:57 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/09/04/1008122.shtml +2020-09-15 11:26:57 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/08/25/1005567.shtml +2020-09-15 11:26:57 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/08/19/1003848.shtml +2020-09-15 11:26:57 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/08/18/1003600.shtml +2020-09-15 11:26:57 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/08/11/1000496.shtml +2020-09-15 11:26:57 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/07/30/997217.shtml +2020-09-15 11:26:57 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/07/24/995735.shtml +2020-09-15 11:26:57 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/07/02/990186.shtml +2020-09-15 11:26:57 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/05/09/974787.shtml +2020-09-15 11:26:57 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/03/31/965813.shtml +2020-09-15 11:26:57 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/03/03/960270.shtml +2020-09-15 11:26:57 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/02/28/959647.shtml +2020-09-15 11:26:57 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/01/30/954499.shtml +2020-09-15 11:26:58 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://sswj.taiyuan.gov.cn/zfxxgk/tzgg/index.shtml) +2020-09-15 11:26:58 [scrapy.core.scraper] DEBUG: Scraped from <200 http://sswj.taiyuan.gov.cn/doc/2020/09/10/1009511.shtml> +{'biaoti': '太原市商务局关于对流通领域现代供应链体系建设项目验收结果的公示', + 'laiyuan': '太原市商务局', + 'lianjie': 'http://sswj.taiyuan.gov.cn/doc/2020/09/10/1009511.shtml', + 'shijian': '2020-09-10', + 'wenjian': [{'file_name': '_', + 'file_url': 'http://sswj.taiyuan.gov.cn/uploadfiles/202009/10/2020091011404731283573.png', + 'new_file': '/2020/09/7H3u7mKL_2020091011404731283573.png'}, + {'file_name': '_', + 'file_url': 'http://sswj.taiyuan.gov.cn/uploadfiles/202009/10/2020091011410054679257.png', + 'new_file': '/2020/09/K3ANa2wY_2020091011410054679257.png'}], + 'xiangqing': '
\n' + ' \n' + '

太原市商务局关于对流通领域现代供应链

\r\n' + '\r\n' + '

体系建设项目验收结果的公示

\r\n' + '\r\n' + '

\xa0

\r\n' + '\r\n' + '

根据《财政部、商务部关于开展2018年流通领域现代供应链体系建设的通知》（财办建〔2018〕101号）、《商务部关于2018年流通领域现代供应链体系建设有关问题的补充通知》、《太原市商务局关于征集流通领域现代供应链体系建设项目的通知》（并商发发〔2018〕92号）、《太原市商务局关于补充征集流通领域现代供应链体系建设项目试点企业的通知》（并商发发〔2019〕46号）、《太原市商务局关于补充征集流通领域现代供应链体系建设项目（第三批）的通知》（并商贸发〔2020〕14号）、《太原市财政局、太原市商务局关于修订<太原市流通领域现代供应链体系建设专项资金使用管理规定>的通知》（并财建〔2019〕290号）、《太原市商务局关于开展2018年流通领域现代供应链体系建设项目验收工作的通知》（并商贸发〔2020〕48号）等文件要求，2020年8月中上旬，太原市商务局委托中国仓储与配送协会对纳入太原市流通领域现代供应链体系建设试点的4个链条14家企业进行了验收。

\r\n' + '\r\n' + '

验收采取听汇报（链主企业主汇报，协同企业补充汇报）、看现场、查资料、核投资、对实物，集中答辩、现场打分等方式进行。根据《太原市商务局关于开展2018年流通领域现代供应链体系建设项目验收工作的通知》中“对验收合格的项目及企业进行公示，时间为5个工作日”、“综合得分80分以上的，准予通过项目验收”等要求，太原市快消品多仓共配现代供应链体系建设项目、太原市医药流通供应链体系建设项目、家居供应链体系建设项目、水塔醋业供应链体系建设项目等4个链条得分均在80分以上，通过验收。

\r\n' + '\r\n' + '

\u3000\u3000现对验收结果予以公示，公示时间为5个工作日。公示期间，社会各界及各监管部门对验收结果有异议的，可以邮件、信函、电话等形式向太原市商务局反映。

\r\n' + '\r\n' + '

联 系 人：太原市商务局商贸发展科\xa0武霞飞\xa04225492

\r\n' + '\r\n' + '

\u3000' + '\xa0\xa0邮\u3000\u3000箱：tyswjsfc@163.com\xa0\xa0\xa0\xa0' + '

\r\n' + '\r\n' + '

办公地址：新建路69号市政府2号楼4层

\r\n' + '\r\n' + '

\xa0

\r\n' + '\r\n' + '

附件：1.《太原市流通领域现代供应链体系建设项目及试点

\r\n' + '\r\n' + '

企业名单》

\r\n' + '\r\n' + '

2.《太原市流通领域现代供应链体系建设项目得分汇

\r\n' + '\r\n' + '

总表》
\r\n' + '\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0 \xa0 \xa0 \xa0\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000\u3000' + '\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0' + '太原市商务局
\r\n' + '\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0' + '\xa0' + '2020年9月10日

\r\n' + '\r\n' + '

附件1.

\r\n' + '\r\n' + '

\xa0

\r\n' + '\r\n' + '

\r\n' + '\r\n' + '

\xa0

\r\n' + '\r\n' + '

\xa0

\r\n' + '\r\n' + '

附件2.

\r\n' + '\r\n' + '

\r\n' + '\n' + ' \n' + '
'} +2020-09-15 11:26:58 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:26:58 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:26:58 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 558, + 'downloader/request_count': 2, + 'downloader/request_method_count/GET': 2, + 'downloader/response_bytes': 46486, + 'downloader/response_count': 2, + 'downloader/response_status_count/200': 2, + 'elapsed_time_seconds': 1.007412, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 26, 58, 383070), + 'item_scraped_count': 1, + 'log_count/DEBUG': 3, + 'log_count/INFO': 25, + 'request_depth_max': 1, + 'response_received_count': 2, + 'scheduler/dequeued': 2, + 'scheduler/dequeued/memory': 2, + 'scheduler/enqueued': 2, + 'scheduler/enqueued/memory': 2, + 'start_time': datetime.datetime(2020, 9, 15, 3, 26, 57, 375658)} +2020-09-15 11:26:58 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:17 [scrapy.extensions.telnet] INFO: Telnet Password: 9176b39e296db236 +2020-09-16 08:47:17 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:17 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:17 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:17 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-16 08:47:17 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:17 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:17 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6039 +2020-09-16 08:47:17 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:17 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:17 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:17 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:17 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:17 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200128/8882.html +2020-09-16 08:47:17 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200914/10731.html +2020-09-16 08:47:17 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200911/10719.html +2020-09-16 08:47:17 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200907/10684.html +2020-09-16 08:47:17 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200902/10659.html +2020-09-16 08:47:17 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200901/10647.html +2020-09-16 08:47:17 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200831/10634.html +2020-09-16 08:47:17 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200828/10617.html +2020-09-16 08:47:17 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200826/10606.html +2020-09-16 08:47:17 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200825/10593.html +2020-09-16 08:47:17 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200824/10581.html +2020-09-16 08:47:17 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200819/10540.html +2020-09-16 08:47:17 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200817/10529.html +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200817/10524.html +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200814/10513.html +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200813/10498.html +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200812/10491.html +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200812/10490.html +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200812/10492.html +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://xqyj.shanxi.gov.cn/v2/html/tzgg/20200810/10474.html +2020-09-16 08:47:18 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:18 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:18 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:18 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:18 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:18 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:18 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202009/t20200914_158714.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202009/t20200911_158708.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202009/t20200909_158689.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202009/t20200904_158652.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202009/t20200903_158644.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202009/t20200902_158634.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200828_158545.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200827_158488.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200826_158478.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200824_158442.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200820_158368.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200820_158367.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200820_158366.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200818_158360.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200812_158357.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202008/t20200806_158250.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202007/t20200731_158051.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202007/t20200729_158039.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202007/t20200728_158029.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.most.gov.cn/tztg/202007/t20200728_158024.htm +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202009/333a6315e6e847598015470c023e6756.shtml +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202008/31968fc6f34141f7b00ca1a4a9403b9b.shtml +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/62c204b65c5743e3bfa42b11f7f74e07.shtml +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/4d0a9a00609849ce8f7f92f8deefc0f1.shtml +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/72fc74e9f18e41a09e793db6ad1e57d5.shtml +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/ca4e198b01dc4d9ca3b7280193db6e43.shtml +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/5770a68db55b4122ac26d3b320fcd47d.shtml +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202007/687f7fe1fb554ffca065405d3ad58ff9.shtml +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/a1aa35a2ca6342129f91751a67d301eb.shtml +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/98f4eba5be7c44de86dcaeb5c52685a1.shtml +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/5999c535089542f2aba8661cd76f7f51.shtml +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/ebb7f4834b96465d92adbe7f9b59172e.shtml +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/9b5772a6b34946038857e345a74293bd.shtml +2020-09-16 08:47:18 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/5d569f0bd065466ea650f8f3181f0f28.shtml +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202006/38bcefd694bc4aadbd61b4cd503c1a66.shtml +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202005/3b861ac8ca754865a9ad8cec9c91a461.shtml +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202005/3dd5ac8e23424ec9a2efdb013c07f1e1.shtml +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.chinatorch.gov.cn/kjb/tzgg/202005/0fbf02c759504c01b5b7b1485081bc52.shtml +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78356.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78152.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78573.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78571.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78569.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78567.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78537.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78522.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78519.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78513.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78512.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78478.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78477.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78463.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78460.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78459.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78457.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78444.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78437.htm +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78435.htm +2020-09-16 08:47:19 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:47:19 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:47:19 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 245, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 21572, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 2.977124, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 47, 19, 542924), + 'log_count/DEBUG': 12, + 'log_count/INFO': 161, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 16, 565800)} +2020-09-16 08:47:19 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:19 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:19 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:19 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:19 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202009/t20200915_1238749.html +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202009/t20200909_1237860.html +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202009/t20200909_1237841.html +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202009/t20200904_1237640.html +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200826_1236873.html +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200824_1236679.html +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200820_1236352.html +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200820_1236353.html +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200818_1236238.html +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200811_1235815.html +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200811_1235817.html +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200810_1235755.html +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200807_1235742.html +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200806_1235650.html +2020-09-16 08:47:19 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200805_1235592.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200803_1235506.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202008/t20200804_1235517.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202007/t20200731_1235247.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202007/t20200731_1235241.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202007/t20200731_1235150.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202007/t20200731_1235153.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202007/t20200731_1235257.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202007/t20200731_1235148.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：https://www.ndrc.gov.cn/xxgk/zcfb/tz/202007/t20200728_1234739.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c8069941/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c8041166/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c8025977/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c8025439/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7998949/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7998890/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7941210/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7941178/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7941146/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7917147/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7897089/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7869105/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7858580/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7838720/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7827070/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7826412/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7683073/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7669471/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7572659/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7557666/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7473474/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7452903/content.html +2020-09-16 08:47:20 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7452084/content.html +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c6999390/content.html +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202009/t20200908_874960.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202009/t20200907_874843.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202009/t20200907_874793.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202009/t20200901_874605.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202008/t20200831_874550.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202008/t20200831_874501.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202008/t20200831_874504.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202008/t20200824_874310.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/ceshi/gztz/202008/t20200821_874282.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202008/t20200819_874226.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202008/t20200819_874227.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202008/t20200814_874141.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：https://www.mct.gov.cn/whzx/ggtz/202008/t20200813_874115.htm +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202008/t20200812_874083.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202007/t20200729_873774.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202007/t20200728_873742.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202007/t20200728_873743.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202007/t20200727_873716.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202007/t20200717_873583.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202007/t20200717_873581.html?keywords= +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=4cb2c090-e719-41d0-ac0f-1abe541f183e +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=43efe7bb-0a96-4484-b9f4-9184f35b94e8 +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=20355e00-5299-4693-b784-3ea132f68e12 +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=9daf0688-0f5d-467c-8531-ba1cefc92770 +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=0238484c-8496-4066-8996-3de03378979c +2020-09-16 08:47:21 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'fgw.shanxi.gov.cn': +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=e8944693-fe8b-4385-be73-4aa7715056f1 +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=b913adc3-775d-4c3c-9ef0-ccb66eb6987f +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=318e14b2-ca25-4e91-b6b0-2b54a1f88348 +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=923c9f58-34a3-4518-853c-b86f33787ebc +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=dff5d8f1-a830-44f2-ba68-3e2af3c52638 +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=d0a6ba2d-952b-4d93-8663-ae9a4008ae0a +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=8be236d6-5365-44ef-990f-a6848a860346 +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=f9a6ad01-6902-495a-84e4-6500c5e8f3cc +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=9fbb7bad-1119-4be7-b6df-9ecf2feb34f3 +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=50e277e2-9d8f-499e-816f-aea870f89c89 +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=4ee60e63-acca-4c86-8d9c-099f7bd3aa4f +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=c40c816b-a596-4f9f-94ac-1fe6154a7cf3 +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=efa92a7b-16d3-496c-b07f-5a63525bafe1 +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=31eb36b4-f197-4c3b-9162-2f332b050ced +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=33bb2acd-de5d-442a-859f-2e9d95f73504 +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/wzzs/202006/t20200604_124281.shtml +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/jjmy/202003/t20200320_123242.shtml +2020-09-16 08:47:21 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/jgtz/202003/t20200309_123080.shtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/gdzctz/202003/t20200305_123010.shtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/wzzs/202003/t20200302_122952.shtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/gdzctz/202002/t20200228_122934.shtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/kjws/202002/t20200221_122773.shtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/hjyzy/202002/t20200213_122703.shtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/kjws/202002/t20200212_122695.shtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/gdzctz/202002/t20200206_122635.shtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/kjws/202002/t20200205_122612.shtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/kjws/201912/t20191203_121756.shtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/kjws/201911/t20191126_121615.shtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/gdzctz/201911/t20191126_121614.shtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/kjws/201911/t20191118_121510.shtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/ncjj/201911/t20191112_121439.shtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/gdzctz/201911/t20191105_121319.shtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://fgw.shanxi.gov.cn/fggz/wngz/gdzctz/201911/t20191105_121301.shtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1511 +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1500 +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1479 +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1474 +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1473 +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1462 +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1388 +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1310 +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1243 +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1182 +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1195 +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1197 +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1219 +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1225 +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://gxt.shanxi.gov.cn/web/content.html?id=1063 +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/tcc/49699.jhtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/sfc/49633.jhtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/sfc/49632.jhtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/gxc/50209.jhtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/gxc/50208.jhtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/jcyjc/50207.jhtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/nckjc/50201.jhtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/gxc/50116.jhtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/wzj/50101.jhtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/jcyjc/50100.jhtml +2020-09-16 08:47:22 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/sfc/50090.jhtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/zlghc/50085.jhtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/fzjhc/50080.jhtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/jcyjc/50077.jhtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/wzj/50076.jhtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/gjhzc/50069.jhtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/gjhzc/50068.jhtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/nckjc/50067.jhtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/nckjc/50066.jhtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjt.shanxi.gov.cn:80/wzj/50063.jhtml +2020-09-16 08:47:23 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:47:23 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:47:23 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 233, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 3562, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 7.504043, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 47, 23, 171027), + 'log_count/DEBUG': 17, + 'log_count/INFO': 380, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 15, 666984)} +2020-09-16 08:47:23 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:23 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:47:23 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:47:23 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 244, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 11236, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 6.994581, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 47, 23, 172028), + 'log_count/DEBUG': 17, + 'log_count/INFO': 346, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 16, 177447)} +2020-09-16 08:47:23 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:23 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:47:23 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:47:23 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 262, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 6981, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 7.088666, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 47, 23, 176032), + 'log_count/DEBUG': 17, + 'log_count/INFO': 359, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 16, 87366)} +2020-09-16 08:47:23 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:23 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.ndrc.gov.cn/xxgk/zcfb/tz/index.html) +2020-09-16 08:47:23 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/09/10/1009511.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/09/07/1008591.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/09/04/1008122.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/08/25/1005567.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/08/19/1003848.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/08/18/1003600.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/08/11/1000496.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/07/30/997217.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/07/24/995735.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/07/02/990186.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/05/09/974787.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/03/31/965813.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/03/03/960270.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/02/28/959647.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://sswj.taiyuan.gov.cn/doc/2020/01/30/954499.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/09/12/1010113.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/09/07/1008391.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/09/04/1008199.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/08/21/1004590.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/08/13/1001630.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/08/08/999926.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/07/31/997727.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/07/17/993580.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/06/23/988275.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/06/22/988019.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/06/19/987592.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/06/15/986244.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/06/15/986238.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/06/15/986237.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://kjj.taiyuan.gov.cn/doc/2020/06/15/986236.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/09/09/1009086.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/09/08/1009024.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/09/08/1009023.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/07/29/996943.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/07/14/992583.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/07/07/991266.shtml +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/05/21/979674.shtml +2020-09-16 08:47:23 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'mp.weixin.qq.com': +2020-09-16 08:47:23 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/05/20/979447.shtml +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/05/19/979251.shtml +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/04/20/970538.shtml +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/03/27/965251.shtml +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：http://jxw.taiyuan.gov.cn/doc/2020/03/27/965256.shtml +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:47:24 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:47:24 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 274, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 28424, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 7.600515, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 47, 24, 73230), + 'log_count/DEBUG': 20, + 'log_count/INFO': 369, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 16, 472715)} +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:47:24 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:47:24 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 237, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 17180, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 7.699605, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 47, 24, 74231), + 'log_count/DEBUG': 20, + 'log_count/INFO': 382, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 16, 374626)} +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:47:24 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:47:24 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 250, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 8192, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 7.329268, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 47, 24, 75232), + 'log_count/DEBUG': 20, + 'log_count/INFO': 350, + 'offsite/domains': 1, + 'offsite/filtered': 1, + 'request_depth_max': 1, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 16, 745964)} +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:47:24 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:47:24 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 262, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 8294, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 7.238186, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 47, 24, 76233), + 'log_count/DEBUG': 20, + 'log_count/INFO': 345, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 16, 838047)} +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:47:24 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:47:24 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 237, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 39035, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 7.417349, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 47, 24, 76233), + 'log_count/DEBUG': 20, + 'log_count/INFO': 367, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 16, 658884)} +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:47:24 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:47:24 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 226, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 51247, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 7.051016, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 47, 24, 77234), + 'log_count/DEBUG': 20, + 'log_count/INFO': 335, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 17, 26218)} +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/72721 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/72210 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/71141 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/70608 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/70941 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69801 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69805 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69804 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68878 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68458 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68456 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68411 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68455 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68167 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68969 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/67377 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/67388 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68453 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/67188 +2020-09-16 08:47:24 [scrapy.core.engine] DEBUG: Crawled (200) (referer: http://www.miit.gov.cn/gdnps/wjfbindex.jsp) +2020-09-16 08:47:24 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.ndrc.gov.cn/xxgk/zcfb/tz/202009/t20200915_1238778.html> +{'biaoti': '关于印发第二批国家农村产业融合发展示范园名单的通知(发改农经〔2020〕1360号)', + 'laiyuan': '发改委', + 'lianjie': 'https://www.ndrc.gov.cn/xxgk/zcfb/tz/202009/t20200915_1238778.html', + 'shijian': '2020-09-15', + 'wenjian': [{'file_name': '第二批国家农村产业融合发展示范园名单', + 'file_url': 'https://www.ndrc.gov.cn/xxgk/zcfb/tz/202009/P020200915510030297224.pdf', + 'new_file': '/2020/09/fFnWchp6_P020200915510030297224.pdf'}], + 'xiangqing': '
\n' + '
关于印发第二批国家农村产业
融合发展示范园名单的通知

发改农经〔2020〕1360号

各省、自治区、直辖市及计划单列市发展改革委、农业农村厅（委、办、局）、工业和信息化主管部门、财政厅（局）、自然资源主管部门、商务主管部门、文化旅游委（局）：
\u2003\u2003' + '为深入贯彻落实近年来中央一号文件精神，充分发挥示范引领作用，促进农村一二三产业融合发展，根据《国家农村产业融合发展示范园认定管理办法（试行）》，在省级推荐、第三方评审的基础上，认定北京市密云区巨各庄镇蔡家洼村农村产业融合发展示范园等100个单位为第二批国家农村产业融合发展示范园（以下简称“示范园”）。现将示范园名单（见附件）予以公布，并就有关事项通知如下：
\u2003\u2003' + '一、扎实做好示范园建设工作。各地要继续加快园区内高标准农田和农田水利等生产设施建设，进一步完善园区道路、电力通信、垃圾污水处理、冷链物流等基础设施条件，提升示范园产业发展的支撑能力。加强园区信息服务、卫生防疫、应急保障、环境保护等配套设施建设，积极推动新上一批利益联结机制紧密的农村一二三产业融合发展项目，促进示范园产业高质量发展。
\u2003\u2003' + '二、积极支持示范园建设。各地要加强政策协调和业务指导，加大对示范园的支持力度，形成工作合力。鼓励示范园所在县（市、区、旗、农场）或地市政府，以示范园为重点，在不改变资金用途和管理要求的基础上，统筹利用各项涉农资金支持示范园符合条件的项目建设，完善示范园设施条件。支持示范园入园农业产业化龙头企业，优先申报发行农村产业融合发展专项企业债券，支持入园小微企业以增信集合债券形式发行农村产业融合发展专项企业债券。加大地方政府专项债资金对示范园符合条件的项目建设的支持力度，积极争取安排省级预算内投资支持示范园发展。对示范园用地在年度土地利用计划安排上予以倾斜支持，依法依规办理用地手续。鼓励按照国家有关规定，通过城乡建设用地增减挂钩、工矿废弃地复垦利用、依法利用存量建设用地等途径，多渠道保障示范园发展用地。
\u2003\u2003' + '三、认真总结推广经验。各地要组织示范园认真总结创建过程中探索出的经验做法，加快复制推广，以点带面推动本地区农村产业融合加快发展，充分发挥示范引领作用。各省（区、市）发展改革委要组织本地区示范园开展创建总结工作，做好示范园创建成效的宣传报道和经验推广，并将创建示范园的典型做法、经验成效和下一步工作打算等，形成3000字左右的总结材料（附示范园典型场景照片），于10月15日前报送国家发展改革委农村经济司。
\u2003\u2003' + '四、切实强化后续管理。各地发展改革委要会同有关部门加强对示范园建设情况的跟踪管理，督促示范园进一步完善与农民的利益联结机制，更好发挥联农带农富农效应，更多吸纳农民就地就近就业创业，持续发挥示范引领带动作用。国家发展改革委将会同有关部门适时对示范园开展跟踪评估，建立“有进有退”的动态管理机制，对存在违反《国家农村产业融合发展示范园认定管理办法（试行）》（以下简称《管理办法》）第二十九条规定情形的，经核实后将撤销“国家农村产业融合发展示范园”称号。
\u2003\u2003' + '五、认真做好第三批示范园申报工作。本批示范园名单公布后，将接续启动第三批示范园创建，各地发展改革委要会同有关部门做好第三批示范园申报工作。要严格对照《管理办法》要求，坚持高起点、高标准确定拟创建的示范园，通过竞争性选拔择优推荐，确保符合示范园创建类型和数量要求，并继续向脱贫摘帽贫困县、“三区三州”深度贫困地区倾斜。申报创建示范园请报送以下材料：一是示范园创建申报书，二是示范园创建实施方案，三是示范园用地情况等其他相关配套材料。请各省级发展改革委于10月15日前商有关部门完成示范园创建方案评审工作，并将评审确定的示范园名单、界址点坐标及用地审核结果上报国家发展改革委，各省级自然资源主管部门同时在自然资源部智能审批系统中上报相关材料，逾期未报视同放弃创建。
\u2003\u2003' + '附件：第二批国家农村产业融合发展示范园名单

国家发展改革委
农 业 农 村 ' + '部
工业和信息化部
财\u2003\u2003政\u2003\u2003部
自 然 资 源 部
商\u2003\u2003务\u2003\u2003' + '部
文化和旅游部
2020年9月2日

\n' + '
附件：

\n' + '第二批国家农村产业融合发展示范园名单\n' + '

'} +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:47:24 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:47:24 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 246, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 18656, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 7.484985, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 47, 24, 788454), + 'log_count/DEBUG': 22, + 'log_count/INFO': 331, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 17, 303469)} +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:47:24 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:47:24 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 245, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 17473, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 7.674155, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 47, 24, 789454), + 'log_count/DEBUG': 22, + 'log_count/INFO': 353, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 17, 115299)} +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:47:24 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:47:24 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 245, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 17676, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 7.577067, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 47, 24, 790455), + 'log_count/DEBUG': 22, + 'log_count/INFO': 348, + 'offsite/domains': 1, + 'offsite/filtered': 3, + 'request_depth_max': 1, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 17, 213388)} +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:47:24 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:47:24 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 561, + 'downloader/request_count': 2, + 'downloader/request_method_count/GET': 2, + 'downloader/response_bytes': 9255, + 'downloader/response_count': 2, + 'downloader/response_status_count/200': 2, + 'elapsed_time_seconds': 8.517922, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 47, 24, 792457), + 'item_scraped_count': 1, + 'log_count/DEBUG': 22, + 'log_count/INFO': 442, + 'request_depth_max': 1, + 'response_received_count': 2, + 'scheduler/dequeued': 2, + 'scheduler/dequeued/memory': 2, + 'scheduler/enqueued': 2, + 'scheduler/enqueued/memory': 2, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 16, 274535)} +2020-09-16 08:47:24 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11533 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11514 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11490 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11483 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11479 +2020-09-16 08:47:24 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11473 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11470 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11469 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11459 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11456 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11454 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11435 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11433 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11411 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11410 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11408 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11405 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11395 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11394 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11393 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11392 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11391 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11365 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11362 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11359 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11358 +2020-09-16 08:47:25 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://zgq.shanxi.gov.cn/?pcyear=8-10) +2020-09-16 08:47:25 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:25 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.miit.gov.cn/gdnps/searchIndex.jsp?params=%257B%2522goPage%2522%253A1%252C%2522orderBy%2522%253A%255B%257B%2522orderBy%2522%253A%2522publishTime%2522%252C%2522reverse%2522%253Atrue%257D%252C%257B%2522orderBy%2522%253A%2522orderTime%2522%252C%2522reverse%2522%253Atrue%257D%255D%252C%2522pageSize%2522%253A10%252C%2522queryParam%2522%253A%255B%257B%257D%252C%257B%257D%252C%257B%2522shortName%2522%253A%2522fbjg%2522%252C%2522value%2522%253A%2522%252F1%252F29%252F1146295%252F1652858%252F1652930%2522%257D%255D%257D&callback=jQuery111108461701558527148_1600217241876&_=1600217241877> +{'biaoti': '工业和信息化部办公厅关于开展2020年信息消费示范城市申报和动态管理工作的通知', + 'laiyuan': '工信部信息技术发展司', + 'lianjie': 'http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757016/c8081792/content.html', + 'shijian': '2020-09-15', + 'wenjian': [{'file_name': '2020年信息消费示范城市建设工作总结报告（提纲）', + 'file_url': 'http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757016/c8081792/part/8081828.docx', + 'new_file': '/2020/09/eYtkjyOK_8081828.docx'}, + {'file_name': '信息消费示范城市指标数据', + 'file_url': 'http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757016/c8081792/part/8081829.docx', + 'new_file': '/2020/09/b9JLihFc_8081829.docx'}], + 'xiangqing': '


各省、自治区、直辖市及计划单列市工业和信息化主管部门：

 

为深入贯彻《国务院关于进一步扩大和升级信息消费持续释放内需潜力的指导意见》（国发〔2017〕40号），根据《信息消费示范城市建设管理办法（试行）》（工信部信软〔2019〕63号，以下简称《管理办法》）相关要求，我部将组织开展2020年信息消费示范城市申报和动态管理工作。有关事项通知如下：

 

一、申报要求

 

（一）新申报城市要求。请各地结合产业发展情况，按照《管理办法》要求，组织有意愿申报的城市系统梳理和总结近年来扩大升级信息消费的工作进展、成效及下一步计划，在综合型或特色型信息消费示范城市类别中选择其一，按照信息消费示范城市申报表、申报书模板（可从工业和信息化部信息技术发展司网站下载）要求提交相关申报材料。

 

（二）已获评城市要求。请已获评信息消费示范城市所在地工业和信息化主管部门，按照《管理办法》和《工业和信息化部办公厅关于做好2020年信息消费示范城市建设工作的通知》（工信厅信发函〔2020〕23号）的要求，总结2020年信息消费示范城市建设的工作进展、成效及下一步计划，按照信息消费示范城市工作进展报告模板要求提交材料（见附件1、2）。

 

二、报送流程及后续工作安排

 

（一）直辖市及计划单列市材料可直接向我部报送，其他城市须通过省级工业和信息化主管部门向我部报送。

 

（二）请各地于10月20日前报送新申报城市相关材料，11月底前报送已获评信息消费示范城市相关材料。

 

（三）相关材料纸质件以EMS方式邮寄，并将电子版发送至liyan@miit.gov.cn。

 

邮寄地址：北京市海淀区万寿路27号院8号楼 ' + '工业和信息化部信息技术发展司，100846

 

（四）我部将对各申报城市的材料进行形式审查（必要时进行实地考察）、组织专家进行评审，评审结果经公示后确定。

 

联系人及电话：裴艳  李琰  010-68208246

  ' + '

附件：1.2020年信息消费示范城市建设工作总结报告（提纲）

\u3000\u3000\u30002.信息消费示范城市指标数据
\u3000\u3000\u3000\u3000

工业和信息化部办公厅

2020年9月1日

'} +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757016/c8080871/content.html +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146295/n1652858/n1652930/n4509607/c8080504/content.html +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757016/c8074778/content.html +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757022/c8071707/content.html +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757022/c8065061/content.html +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757019/c8063099/content.html +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757018/c8061240/content.html +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146295/n1652858/n1652930/n4509607/c8060899/content.html +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757016/c8051612/content.html +2020-09-16 08:47:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11560> +{'biaoti': '山西转型综合改革示范区管理委员会关于开放中介服务平台入驻的通知 ', + 'laiyuan': '山西转型综合改革示范区管理委员会', + 'lianjie': 'https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11560', + 'shijian': '2020-09-15', + 'wenjian': [{'file_name': '：《中介机构入驻申请表》', + 'file_url': 'https://zgq.shanxi.gov.cn/Upload/file/20200915/20200915163249_5115.docx', + 'new_file': '/2020/09/r7NLkIAI_20200915163249_5115.docx'}], + 'xiangqing': '

\r\n' + '\t各中介服务机构：

\r\n' + '

\r\n' + '

\r\n' + '\t为打造全省“六最”营商环境，进一步营造公平开放、竞争有序、便捷高效的中介服务市场，强化服务业集聚效应，现将中介机构入驻山西综改示范区中介服务平台相关事宜通知如下。

\r\n' + '

\r\n' + '

\r\n' + '\t一、入驻条件

\r\n' + '

\r\n' + '

\r\n' + '\t1.全国范围内依法登记设立，具有独立法人资格；
\r\n' + '\u2003\u2003' + '2.具备中介服务项目对应的资质和人员，手续完备，证照齐全，并内部管理规范，运行良好；

\r\n' + '

\r\n' + '

\r\n' + '\t3.\xa0' + '近三年无违法违规行为，无不良信用记录；

\r\n' + '

\r\n' + '

\r\n' + '\t4.接受并遵守示范区中介服务平台运行规则和管理规定。

\r\n' + '

\r\n' + '

\r\n' + '\t二、入驻流程

\r\n' + '

\r\n' + '

\r\n' + '\t1.填写《中介机构入驻申请表》。申请单位登录山西转型综改示范区中介服务平台（网址：http://183.201.200.153:8080/zjpt）后点击【服务指南】，选择“资料下载”栏目,下载《中介机构入驻申请表》，真实填写相关内容。

\r\n' + '

\r\n' + '

\r\n' + '\t2.中介机构网上注册。申请单位登录山西转型综改示范区中介服务平台，进入首页点击右上角“中介注册”按钮，填报相关信息，并按要求上传有关材料原件扫描件（包括：《中介机构入驻申请表》加盖公章的扫描件、营业执照及申请服务类型相关资质的原件扫描件），提交网上入驻申请。

\r\n' + '

\r\n' + '

\r\n' + '\t3．平台审核。中介服务机构网上成功提交入驻申请后，由中介服务平台运营机构负责审核，审核通过后，登录中介服务机构用户即可参加平台相关业务遴选。

\r\n' + '

\r\n' + '

\r\n' + '\t

\xa0

\r\n' + '

\r\n' + '

\r\n' + '\t附件：《中介机构入驻申请表》

\r\n' + '

\r\n' + '

\r\n' + '\t

\xa0

\r\n' + '

\r\n' + '

\r\n' + '\t（平台咨询电话：7080000/7090000/7199678）\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\r\n' + '

\r\n' + '

\r\n' + '\t2020年9月11日\r\n' + '

\r\n' + '
'} +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69799 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69810 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68426 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69811 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68415 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69812 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68421 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68423 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65867 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65904 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65903 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65855 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65889 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65850 +2020-09-16 08:47:25 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/64663 +2020-09-16 08:47:26 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65908 +2020-09-16 08:47:26 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65870 +2020-09-16 08:47:26 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/63857 +2020-09-16 08:47:26 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/63631 +2020-09-16 08:47:26 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/63242 +2020-09-16 08:47:26 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:47:26 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:47:26 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 1131, + 'downloader/request_count': 2, + 'downloader/request_method_count/GET': 2, + 'downloader/response_bytes': 26303, + 'downloader/response_count': 2, + 'downloader/response_status_count/200': 2, + 'elapsed_time_seconds': 10.108498, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 47, 26, 92770), + 'item_scraped_count': 1, + 'log_count/DEBUG': 26, + 'log_count/INFO': 528, + 'request_depth_max': 1, + 'response_received_count': 2, + 'scheduler/dequeued': 2, + 'scheduler/dequeued/memory': 2, + 'scheduler/enqueued': 2, + 'scheduler/enqueued/memory': 2, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 15, 984272)} +2020-09-16 08:47:26 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:26 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://zgq.shanxi.gov.cn/?pcyear=8-10) +2020-09-16 08:47:26 [scrapy.core.scraper] DEBUG: Scraped from <200 https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11556> +{'biaoti': '关于补充申报2020年现代服务业发展引导专项资金（电子商务）项目的通知 ', + 'laiyuan': '山西转型综合改革示范区管理委员会', + 'lianjie': 'https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11556', + 'shijian': '2020-09-15', + 'wenjian': [{'file_name': '：《山西省商务厅关于组织申报2020年现代服务业发展引导专项资金（电子商务）项目的通知》', + 'file_url': 'https://zgq.shanxi.gov.cn/Upload/file/20200915/20200915144027_3794.pdf', + 'new_file': '/2020/09/PZnJD1m0_20200915144027_3794.pdf'}], + 'xiangqing': '

\r\n' + '\t示范区各有关企业：

\r\n' + '

\r\n' + '

\r\n' + '\t根据工作需要，现补充申报2020年现代服务业发展引导专项资金（电子商务）项目，现将申报工作有关事项通知如下。

\r\n' + '

\r\n' + '

\r\n' + '\t一、申报条件及要求

\r\n' + '

\r\n' + '

\r\n' + '\t参照《山西省商务厅关于组织申报2020年现代服务业发展引导专项资金（电子商务）项目的通知》（晋商电便〔2019〕117号）的条件和要求进行申报。

\r\n' + '

\r\n' + '

\r\n' + '\t二、其它要求

\r\n' + '

\r\n' + '

\r\n' + '\t上报纸质申报材料一式2份，并将电子文档发送至125133422@qq.com。书面和电子文档内容须一致。于9月 ' + '21日前将申报材料报综改区创新发展部320室。

\r\n' + '

\r\n' + '

\r\n' + '\t联系人：王珮

\r\n' + '

\r\n' + '

\r\n' + '\t电话：0351-8200890

\r\n' + '

\r\n' + '

\r\n' + '\t

\xa0

\r\n' + '

\r\n' + '

\r\n' + '\t附：《山西省商务厅关于组织申报2020年现代服务业发展引导专项资金（电子商务）项目的通知》

\r\n' + '

\r\n' + '

\r\n' + '\t

\xa0

\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\r\n' + '

\r\n' + '

\r\n' + '\t2020年9月15日\r\n' + '

\r\n' + '

\r\n' + '\t\r\n' + '

'} +2020-09-16 08:47:27 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://zgq.shanxi.gov.cn/?pcyear=8-10) +2020-09-16 08:47:27 [scrapy.core.scraper] DEBUG: Scraped from <200 https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11555> +{'biaoti': '关于开展2020年中国优秀工业设计奖申报工作的通知 ', + 'laiyuan': '山西转型综合改革示范区管理委员会', + 'lianjie': 'https://zgq.shanxi.gov.cn/?pcyear=8-10&id=11555', + 'shijian': '2020-09-15', + 'wenjian': [{'file_name': '关于转发《工业和信息化部办公厅关于开展2020年中国优秀工业设计奖评奖工作的通知》的通知', + 'file_url': 'https://zgq.shanxi.gov.cn/Upload/file/20200915/20200915143734_6445.pdf', + 'new_file': '/2020/09/5xLSUPEC_20200915143734_6445.pdf'}], + 'xiangqing': '

\r\n' + '\t区内各企业：

\r\n' + '

\r\n' + '

\r\n' + '\t为展示我国工业设计优秀成果，营造工业设计良好发展氛围，推动制造强国建设，工业和信息化部将开展2020年中国优秀工业设计奖评奖工作。请企业按照省工信厅《关于转发<工业和信息化部办公厅关于开展2020年中国优秀工业设计奖评奖工作的通知>的通知》要求准备申报材料纸质版一式三份（电子版光盘两份），于9月24日前提交至山西综改示范区管委会创新发展部312办公室（地址：太原市小店区龙盛街21号）。

\r\n' + '

\r\n' + '

\r\n' + '\t

\xa0' + '

\r\n' + '

\r\n' + '

\r\n' + '\t联系人：王海锋 \xa0' + '8206879

\r\n' + '

\r\n' + '

\r\n' + '\t

\xa0' + '

\r\n' + '

\r\n' + '

\r\n' + '\t附件：关于转发《工业和信息化部办公厅关于开展2020年中国优秀工业设计奖评奖工作的通知》的通知

\r\n' + '

\r\n' + '

\r\n' + '\t

\xa0' + '

\r\n' + '

\r\n' + '

\r\n' + '\t

\xa0\r\n' + '

\r\n' + '

\r\n' + '\t\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0\xa0' + '2020年9月14日\r\n' + '

\r\n' + '
'} +2020-09-16 08:47:29 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://zgq.shanxi.gov.cn/?pcyear=8-10) +2020-09-16 08:47:29 [scrapy.core.scraper] ERROR: Spider error processing (referer: https://zgq.shanxi.gov.cn/?pcyear=8-10) +Traceback (most recent call last): + File "C:\e\python3\lib\site-packages\scrapy\utils\defer.py", line 120, in iter_errback + yield next(it) + File "C:\e\python3\lib\site-packages\scrapy\utils\python.py", line 346, in __next__ + return next(self.data) + File "C:\e\python3\lib\site-packages\scrapy\utils\python.py", line 346, in __next__ + return next(self.data) + File "C:\e\python3\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable + for r in iterable: + File "C:\e\python3\lib\site-packages\scrapy\spidermiddlewares\offsite.py", line 29, in process_spider_output + for x in result: + File "C:\e\python3\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable + for r in iterable: + File "C:\e\python3\lib\site-packages\scrapy\spidermiddlewares\referer.py", line 340, in + return (_set_referer(r) for r in result or ()) + File "C:\e\python3\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable + for r in iterable: + File "C:\e\python3\lib\site-packages\scrapy\spidermiddlewares\urllength.py", line 37, in + return (r for r in result or () if _filter(r)) + File "C:\e\python3\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable + for r in iterable: + File "C:\e\python3\lib\site-packages\scrapy\spidermiddlewares\depth.py", line 58, in + return (r for r in result or () if _filter(r)) + File "C:\e\python3\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable + for r in iterable: + File "C:\e\scrapywork\demo1\demo1\spiders\shanxizonggaiquSpider.py", line 81, in page_url + self.tihuan_img_return(item, self.settings.get('MESSAGE'), response) + File "C:\e\scrapywork\demo1\demo1\Util.py", line 148, in tihuan_img_return + houzui = single_src_file['file_url'][single_src_file['file_url'].rfind('/') + 1:] +AttributeError: 'NoneType' object has no attribute 'rfind' +2020-09-16 08:47:29 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:47:29 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:47:29 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 1605, + 'downloader/request_count': 5, + 'downloader/request_method_count/GET': 5, + 'downloader/response_bytes': 291189, + 'downloader/response_count': 5, + 'downloader/response_status_count/200': 5, + 'elapsed_time_seconds': 12.369819, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 47, 29, 302952), + 'item_scraped_count': 3, + 'log_count/DEBUG': 31, + 'log_count/ERROR': 1, + 'log_count/INFO': 442, + 'request_depth_max': 1, + 'response_received_count': 5, + 'scheduler/dequeued': 5, + 'scheduler/dequeued/memory': 5, + 'scheduler/enqueued': 5, + 'scheduler/enqueued/memory': 5, + 'spider_exceptions/AttributeError': 1, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 16, 933133)} +2020-09-16 08:47:29 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:37 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/74898 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69795 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69786 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/69279 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68459 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68971 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68414 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68975 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68427 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/67152 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68418 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66918 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66500 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65858 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65890 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68420 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65909 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65295 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65678 +2020-09-16 08:47:38 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65862 +2020-09-16 08:47:44 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/55831 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/55836 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/55839 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/55841 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/46922 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/46923 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/46924 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/42979 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/42994 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40859 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/42997 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40327 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40330 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/39293 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40306 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40307 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40338 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40309 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40310 +2020-09-16 08:47:45 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40340 +2020-09-16 08:47:55 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.chacewang.com/news/PIndex_New?chaPlate=1&citycode=&more=False) +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66899 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66875 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66901 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66917 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66903 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66916 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66907 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66904 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66905 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66497 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66486 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/67281 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/68422 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66498 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/66014 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65861 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65854 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65869 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65853 +2020-09-16 08:47:55 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65637 +2020-09-16 08:48:03 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.chacewang.com/news/PIndex_New?chaPlate=2&citycode=&more=False) +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62685 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62398 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65888 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62107 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/61458 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/61395 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/61389 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/61396 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/59300 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/58975 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/59298 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/58832 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/58833 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/58091 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/57600 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/57589 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/56711 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/56730 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/56521 +2020-09-16 08:48:04 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/56513 +2020-09-16 08:48:15 [scrapy.extensions.logstats] INFO: Crawled 6 pages (at 6 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:48:16 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.chacewang.com/news/PIndex_New?chaPlate=3&citycode=&more=False) +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65893 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65896 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65898 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65900 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65865 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65902 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/63856 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65857 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/65866 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/63386 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62269 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62268 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62271 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62120 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62109 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/62115 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/71669 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/61388 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/61391 +2020-09-16 08:48:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/60721 +2020-09-16 08:48:20 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.chacewang.com/news/PIndex_New?chaPlate=4&citycode=&more=False) +2020-09-16 08:48:20 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40310 +2020-09-16 08:48:20 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40342 +2020-09-16 08:48:20 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40312 +2020-09-16 08:48:20 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40345 +2020-09-16 08:48:20 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40346 +2020-09-16 08:48:20 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40317 +2020-09-16 08:48:20 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40356 +2020-09-16 08:48:20 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/32286 +2020-09-16 08:48:21 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31963 +2020-09-16 08:48:21 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/40357 +2020-09-16 08:48:21 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31040 +2020-09-16 08:48:21 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31045 +2020-09-16 08:48:21 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31048 +2020-09-16 08:48:21 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31049 +2020-09-16 08:48:21 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31046 +2020-09-16 08:48:21 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31047 +2020-09-16 08:48:21 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31041 +2020-09-16 08:48:21 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31044 +2020-09-16 08:48:21 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31051 +2020-09-16 08:48:21 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/31050 +2020-09-16 08:48:31 [scrapy.core.engine] DEBUG: Crawled (200) (referer: https://www.chacewang.com/news/PIndex_New?chaPlate=1&citycode=&more=False) +2020-09-16 08:48:31 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.chacewang.com/news/NewsDetail/75974> +{'biaoqian': ['企业资质认定与奖励'], + 'biaoti': '工业和信息化部办公厅关于开展2020年中国优秀工业设计奖评奖工作的通知', + 'jianjie': '为展示我国工业设计优秀成果，营造工业设计良好发展氛围，推动制造强国建设，经中央批准，我部将开展2020年中国优秀工业设计奖评奖工作。', + 'laiyuan': '工信部', + 'leixing': '申报通知', + 'lianjie': 'https://www.chacewang.com/news/NewsDetail/75974', + 'shijian': '2020-09-15', + 'wenjian': ['2020年中国优秀工业设计奖申报书', + 'https://www.chacewang.com/Home/OssDownload/upload/NewsWordUpload/2020年中国优秀工业设计奖申报书_20200915.docx', + '/2020/09/HTKSaky4_2020年中国优秀工业设计奖申报书_20200915.docx'], + 'xiangqing': '
\n' + '各省、自治区、直辖市及计划单列市、新疆生产建设兵团工业和信息化主管部门：
\n' + '\u2003\u2003' + '为展示我国工业设计优秀成果，营造工业设计良好发展氛围，推动制造强国建设，经中央批准，我部将开展2020年中国优秀工业设计奖评奖工作。现将有关事项通知如下：
\n' + '\u2003\u2003一、总体要求
\n' + '\u2003\u2003' + '以习近平新时代中国特色社会主义思想为指导，深入贯彻党的十九大和十九届二中、三中、四中全会精神，坚持新发展理念，以提升制造业设计水平和能力为主线，落实《制造业设计能力提升专项行动计划（2019-2022年）》相关要求，通过开展评奖工作，营造工业设计创新发展良好氛围，激发工业设计创新活力，推动设计与制造业融合，提升工业设计服务水平，为制造业高质量发展提供有力支撑。
\n' + '\u2003\u2003二、组织方式
\n' + '\u2003\u2003' + '工业和信息化部组建中国优秀工业设计奖评奖工作领导小组（以下简称领导小组），负责统筹研究和部署评奖工作，审定获奖名单及评奖过程中重大事项。领导小组办公室设在部产业政策与法规司，负责日常协调工作。
\n' + '\u2003\u2003' + '工业和信息化部指导有关行业组织、高校及研究机构等组建评奖工作委员会（以下简称评委会），负责评奖工作的具体实施。
\n' + '\u2003\u2003' + '各省、自治区、直辖市及计划单列市、新疆生产建设兵团工业和信息化主管部门（以下统称各地主管部门）负责动员申报主体广泛参与，组织本地区申报项目初选推荐等工作。
\n' + '\u2003\u2003三、奖项设置
\n' + '\u2003\u2003' + '2020年中国优秀工业设计奖奖项名称为“中国优秀工业设计奖金奖”，分为产品设计奖和概念作品奖，共计10个，其中概念作品奖不超过2个。工业和信息化部对获奖产品（作品）颁发奖杯，对获奖单位和设计者（团队）颁发证书。
\n' + '\u2003\u2003四、申报要求
\n' + '\u2003\u2003（一）申报主体。
\n' + '\u2003\u2003在中国境内依法注册的独立法人机构。
\n' + '\u2003\u2003（二）申报范围。
\n' + '\u2003\u2003' + '交通及机械装备、电子信息产品、日用消费品等大类，具体包括交通工具、机械装备、电子信息及智能终端、智能机器人、人工智能、航空航天、新材料及新工艺等领域产品，办公及文体用品、文创旅游产品、家电及家居产品、纺织服饰、五金制品、医疗健康产品、特殊人群用品及特种用品等。
\n' + '\u2003\u2003' + '概念作品：围绕上述产品类别，提出符合经济社会发展和消费结构升级要求、具有前瞻性的设计作品。
\n' + '\u2003\u2003（三）申报条件。
\n' + '\u2003\u20031.申报产品（作品）符合国家产业政策及有关技术、标准等规定；
\n' + '\u2003\u20032.申报产品（作品）不存在侵犯他人知识产权等违法违规情形；
\n' + '\u2003\u20033.同一个产品（作品）只能由一个单位申报；
\n' + '\u2003\u2003' + '4.申报单位须遵纪守法，近三年内无重大质量、安全、环境污染、公共卫生等事故；
\n' + '\u2003\u2003' + '5.申报产品设计奖的产品须是近两年内（2018年1月1日之后）上市的产品。申报概念作品奖的作品需在功能、结构、技术、形态、材料、工艺、节能、环保等方面有较大创新。
\n' + '\u2003\u2003五、工作程序
\n' + '\u2003\u2003（一）申报推荐。
\n' + '\u2003\u2003' + '1.组织申报。各地主管部门负责做好宣传动员，组织本地区申报主体参评，指导填写《2020年中国优秀工业设计奖申报书》（以下简称《申报书》，格式见附件），汇总本地区申报材料等工作。中央企业或其分支机构按属地化原则，通过当地主管部门进行申报。
\n' + '\u2003\u2003' + '2.初审。各地主管部门负责对申报材料进行初审，重点确认以下内容：
\n' + '\u2003\u2003（1）申报单位及申报产品（作品）符合申报要求；
\n' + '\u2003\u2003' + '（2）申报产品（作品）符合国家产业政策及有关质量安全等技术、标准等规定；
\n' + '\u2003\u2003（3）申报单位提交的相关材料内容真实；
\n' + '\u2003\u2003（4）申报单位已提供须随附的重要材料。
\n' + '\u2003\u2003' + '3.提交材料。各地主管部门向初审合格的申报项目分配网上注册码（随后提供），由申报单位在线申报（www.ceid-award.cn，9月10日上线）并下载打印带有序号的《申报书》。各地主管部门在《申报书》上加盖公章后，正式报送领导小组办公室，并随附推荐作品名单及相关申报材料（一式一份）。网上申报流程参见申报网站相关说明。申报截止日期为2020年10月10日。
\n' + '\u2003\u2003（二）初评、复评、终评及展示。
\n' + '\u2003\u2003' + '1.根据《中国优秀工业设计奖评奖工作委员会工作规则》《中国优秀工业设计奖评奖标准及程序》《中国优秀工业设计奖评审专家遴选办法》，评委会组织专家对推荐产品（作品）进行初评、复评及终评。其中，复评入围企业需提供实物参评，终评入围企业需参加答辩。所有参加复评的产品（作品）均参加公开展示。
\n' + '\u2003\u2003' + '评审主要内容包括先导性、创新性、实用性、美学效果、人机工学、品质、环保性、经济性等方面。
\n' + '\u2003\u2003' + '2.各地主管部门负责组织进入复评的实物产品参加复评、终评及展示，名单及相关事项另行通知。
\n' + '\u2003\u2003六、工作要求
\n' + '\u2003\u2003' + '（一）高度重视，加强统筹。中国优秀工业设计奖评奖工作是总结和展示我国工业设计发展成果，促进行业交流合作，营造工业设计发展良好氛围的重要平台。各地主管部门要充分认识评奖工作的重要意义，加强统筹协调和部门联动，通过评奖提高企业创新能力，推动制造业高质量发展。
\n' + '\u2003\u2003' + '（二）认真审核，择优推荐。各地主管部门要认真审核、择优推荐，除评审内容外应对已上市产品的质量、安全等要素把关，确保参评产品整体水平。要高度重视知识产权保护，切实做好审查工作，不得有侵犯他人设计权或其他知识产权行为。
\n' + '\u2003\u2003' + '（三）严守纪律，依法合规。各地主管部门和评委会工作人员要严格遵守财经纪律等各项工作纪律，认真执行工作规定，不得以任何方式向参评单位和个人收取费用或者变相收费。要严格审查申报项目内容，不得含有泄露国家秘密的信息，不得有弄虚作假等违法违规行为。
\n' + '\u2003\u2003七、其他事项
\n' + '\u2003\u2003' + '请各地主管部门将负责本项工作的联系人姓名、单位、职务，以及联系电话、传真、电子邮箱等联系方式，于2020年9月10日前报领导小组办公室。
\n' + '\u2003\u2003联系人：工业和信息化部产业政策与法规司 王酥镗
\n' + '\u2003\u2003电\xa0 话：010-68209323/68205186；
\n' + '\u2003\u2003传\xa0 真：010-68205275；
\n' + '\u2003\u2003通讯地址：北京市西长安街13号，100804 。
\n' + '

\n' + ' 附件:\n' + '

\n' + '

\n' + ' 2020年中国优秀工业设计奖申报书\n' + '
\n' + '

\n' + '

\n' + ' 原文链接:\n' + '

\n' + '

\n' + ' http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057254/n7600090/c8075993/content.html\n' + '

\n' + '\n' + '
\n' + '
'} +2020-09-16 08:48:31 [root] INFO: 插入完成 +2020-09-16 08:48:43 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:48:43 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6188 +2020-09-16 08:48:43 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=1&citycode=RegisterArea_HBDQ_Shanxi_DaTongShi&more=False----这个就是一页啊 +2020-09-16 08:48:54 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:48:54 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/7275 +2020-09-16 08:48:54 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=2&citycode=RegisterArea_HBDQ_Shanxi_DaTongShi&more=False----这个就是一页啊 +2020-09-16 08:49:05 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:49:05 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=3&citycode=RegisterArea_HBDQ_Shanxi_DaTongShi&more=False----没有发布过内容 +2020-09-16 08:49:15 [scrapy.extensions.logstats] INFO: Crawled 12 pages (at 6 pages/min), scraped 1 items (at 1 items/min) +2020-09-16 08:49:17 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:49:17 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6193 +2020-09-16 08:49:17 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6192 +2020-09-16 08:49:17 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6190 +2020-09-16 08:49:17 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6195 +2020-09-16 08:49:17 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6189 +2020-09-16 08:49:17 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6194 +2020-09-16 08:49:17 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=4&citycode=RegisterArea_HBDQ_Shanxi_DaTongShi&more=False----这个就是一页啊 +2020-09-16 08:49:21 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:49:21 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=1&citycode=RegisterArea_HBDQ_Shanxi_YangQuanShi&more=False----没有发布过内容 +2020-09-16 08:49:32 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:49:32 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6205 +2020-09-16 08:49:32 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=2&citycode=RegisterArea_HBDQ_Shanxi_YangQuanShi&more=False----这个就是一页啊 +2020-09-16 08:49:41 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:49:41 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=3&citycode=RegisterArea_HBDQ_Shanxi_YangQuanShi&more=False----没有发布过内容 +2020-09-16 08:49:53 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:49:53 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=4&citycode=RegisterArea_HBDQ_Shanxi_YangQuanShi&more=False----没有发布过内容 +2020-09-16 08:50:03 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:50:03 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/9357 +2020-09-16 08:50:03 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=1&citycode=RegisterArea_HBDQ_Shanxi_JinZhongShi&more=False----这个就是一页啊 +2020-09-16 08:50:15 [scrapy.extensions.logstats] INFO: Crawled 18 pages (at 6 pages/min), scraped 1 items (at 0 items/min) +2020-09-16 08:50:16 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:50:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/7283 +2020-09-16 08:50:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/7279 +2020-09-16 08:50:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6523 +2020-09-16 08:50:16 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/6296 +2020-09-16 08:50:16 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=2&citycode=RegisterArea_HBDQ_Shanxi_JinZhongShi&more=False----这个就是一页啊 +2020-09-16 08:50:30 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:50:30 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:50:30 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=3&citycode=RegisterArea_HBDQ_Shanxi_JinZhongShi&more=False----没有发布过内容 +2020-09-16 08:50:30 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=4&citycode=RegisterArea_HBDQ_Shanxi_JinZhongShi&more=False----没有发布过内容 +2020-09-16 08:50:38 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:50:38 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=1&citycode=RegisterArea_HBDQ_Shanxi_XinZhouShi&more=False----没有发布过内容 +2020-09-16 08:50:43 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:50:43 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/7697 +2020-09-16 08:50:44 [root] INFO: 这个链接已经爬过了-----：https://www.chacewang.com/news/NewsDetail/5416 +2020-09-16 08:50:44 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=2&citycode=RegisterArea_HBDQ_Shanxi_XinZhouShi&more=False----这个就是一页啊 +2020-09-16 08:50:55 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:50:55 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=3&citycode=RegisterArea_HBDQ_Shanxi_XinZhouShi&more=False----没有发布过内容 +2020-09-16 08:51:05 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-16 08:51:05 [root] INFO: url:https://www.chacewang.com/news/PIndex_New?chaPlate=4&citycode=RegisterArea_HBDQ_Shanxi_XinZhouShi&more=False----没有发布过内容 +2020-09-16 08:51:05 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-16 08:51:05 [root] INFO: 爬虫运行完毕了 +2020-09-16 08:51:05 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 11008, + 'downloader/request_count': 25, + 'downloader/request_method_count/GET': 25, + 'downloader/response_bytes': 289655, + 'downloader/response_count': 25, + 'downloader/response_status_count/200': 25, + 'elapsed_time_seconds': 229.339608, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 16, 0, 51, 5, 229794), + 'item_scraped_count': 1, + 'log_count/DEBUG': 55, + 'log_count/ERROR': 1, + 'log_count/INFO': 703, + 'request_depth_max': 1, + 'response_received_count': 25, + 'scheduler/dequeued': 25, + 'scheduler/dequeued/memory': 25, + 'scheduler/enqueued': 25, + 'scheduler/enqueued/memory': 25, + 'start_time': datetime.datetime(2020, 9, 16, 0, 47, 15, 890186)} +2020-09-16 08:51:05 [scrapy.core.engine] INFO: Spider closed (finished) diff --git a/demo1/logs/wenhuahelvyoubu_2020_9.log b/demo1/logs/wenhuahelvyoubu_2020_9.log new file mode 100644 index 0000000..b6e3706 --- /dev/null +++ b/demo1/logs/wenhuahelvyoubu_2020_9.log @@ -0,0 +1,106 @@ +2020-09-15 11:22:21 [scrapy.extensions.telnet] INFO: Telnet Password: d58f88db3f55832a +2020-09-15 11:22:21 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:22:21 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:22:21 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:22:21 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 11:22:21 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:22:21 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:22:21 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:22:22 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202009/t20200908_874960.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202009/t20200907_874843.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202009/t20200907_874793.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202009/t20200901_874605.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202008/t20200831_874550.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202008/t20200831_874501.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202008/t20200831_874504.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202008/t20200824_874310.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/ceshi/gztz/202008/t20200821_874282.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202008/t20200819_874226.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202008/t20200819_874227.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202008/t20200814_874141.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：https://www.mct.gov.cn/whzx/ggtz/202008/t20200813_874115.htm +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202008/t20200812_874083.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202007/t20200729_873774.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202007/t20200728_873742.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202007/t20200728_873743.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202007/t20200727_873716.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202007/t20200717_873583.html?keywords= +2020-09-15 11:22:22 [root] INFO: 这个链接已经爬过了-----：http://zwgk.mct.gov.cn/auto255/202007/t20200717_873581.html?keywords= +2020-09-15 11:22:22 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:22:22 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:22:22 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 237, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 17265, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 0.825351, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 22, 22, 746644), + 'log_count/DEBUG': 1, + 'log_count/INFO': 31, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 15, 3, 22, 21, 921293)} +2020-09-15 11:22:22 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet Password: 566787543480039e +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-16 08:47:16 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:16 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6029 +2020-09-16 08:47:16 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'DOWNLOAD_DELAY': 1, + 'LOG_FILE': 'logs/zhongxiaoqiyezongju_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} diff --git a/demo1/logs/zhongxiaoqiyezongju_2020_9.log b/demo1/logs/zhongxiaoqiyezongju_2020_9.log new file mode 100644 index 0000000..af586c2 --- /dev/null +++ b/demo1/logs/zhongxiaoqiyezongju_2020_9.log @@ -0,0 +1,110 @@ +2020-09-15 11:22:50 [scrapy.extensions.telnet] INFO: Telnet Password: 2241718bb5310557 +2020-09-15 11:22:50 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:22:51 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:22:51 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:22:51 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 11:22:51 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:22:51 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:22:51 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:22:51 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c8069941/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c8041166/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c8025977/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c8025439/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7998949/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7998890/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7941210/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7941178/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7941146/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7917147/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7897089/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7869105/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7858580/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7838720/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7827070/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7826412/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7683073/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7669471/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7572659/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7557666/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7473474/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7452903/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c7452084/content.html +2020-09-15 11:22:51 [root] INFO: 这个链接已经爬过了-----：http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/c6999390/content.html +2020-09-15 11:22:51 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:22:51 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:22:51 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 274, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 28424, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 0.597737, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 22, 51, 669452), + 'log_count/DEBUG': 1, + 'log_count/INFO': 35, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 15, 3, 22, 51, 71715)} +2020-09-15 11:22:51 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet Password: 58d863091de49bb3 +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-16 08:47:16 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:16 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6030 +2020-09-16 08:47:16 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'DOWNLOAD_DELAY': 1, + 'LOG_FILE': 'logs/fazhancujinju_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} diff --git a/demo1/logs/ziranweiyuanhui_2020_9.log b/demo1/logs/ziranweiyuanhui_2020_9.log new file mode 100644 index 0000000..2567228 --- /dev/null +++ b/demo1/logs/ziranweiyuanhui_2020_9.log @@ -0,0 +1,142 @@ +2020-09-15 11:19:58 [scrapy.extensions.telnet] INFO: Telnet Password: 0740a21bdbade713 +2020-09-15 11:19:58 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:19:59 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:19:59 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:19:59 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 11:19:59 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:19:59 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:19:59 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:19:59 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'DOWNLOAD_DELAY': 1, + 'LOG_FILE': 'logs/huojuzhongxin_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} +2020-09-15 11:21:14 [scrapy.extensions.telnet] INFO: Telnet Password: ec33d8ae3d9048d8 +2020-09-15 11:21:14 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-15 11:21:14 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-15 11:21:14 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-15 11:21:14 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-15 11:21:14 [scrapy.core.engine] INFO: Spider opened +2020-09-15 11:21:14 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-15 11:21:14 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 +2020-09-15 11:21:14 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78356.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78152.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78573.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78571.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78569.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78567.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78537.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78522.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78519.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78513.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78512.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78478.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78477.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78463.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78460.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78459.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78457.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78444.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78437.htm +2020-09-15 11:21:15 [root] INFO: 这个链接已经爬过了-----：http://www.nsfc.gov.cn/publish/portal0/tab442/info78435.htm +2020-09-15 11:21:15 [scrapy.core.engine] INFO: Closing spider (finished) +2020-09-15 11:21:15 [root] INFO: 爬虫运行完毕了 +2020-09-15 11:21:15 [scrapy.statscollectors] INFO: Dumping Scrapy stats: +{'downloader/request_bytes': 262, + 'downloader/request_count': 1, + 'downloader/request_method_count/GET': 1, + 'downloader/response_bytes': 6981, + 'downloader/response_count': 1, + 'downloader/response_status_count/200': 1, + 'elapsed_time_seconds': 0.49302, + 'finish_reason': 'finished', + 'finish_time': datetime.datetime(2020, 9, 15, 3, 21, 15, 413794), + 'log_count/DEBUG': 1, + 'log_count/INFO': 31, + 'response_received_count': 1, + 'scheduler/dequeued': 1, + 'scheduler/dequeued/memory': 1, + 'scheduler/enqueued': 1, + 'scheduler/enqueued/memory': 1, + 'start_time': datetime.datetime(2020, 9, 15, 3, 21, 14, 920774)} +2020-09-15 11:21:15 [scrapy.core.engine] INFO: Spider closed (finished) +2020-09-16 08:47:15 [scrapy.extensions.telnet] INFO: Telnet Password: 47efc608d9467042 +2020-09-16 08:47:15 [scrapy.middleware] INFO: Enabled extensions: +['scrapy.extensions.corestats.CoreStats', + 'scrapy.extensions.telnet.TelnetConsole', + 'scrapy.extensions.logstats.LogStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled downloader middlewares: +['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', + 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', + 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', + 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', + 'scrapy.downloadermiddlewares.retry.RetryMiddleware', + 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', + 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', + 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', + 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', + 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', + 'scrapy.downloadermiddlewares.stats.DownloaderStats'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled spider middlewares: +['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', + 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', + 'scrapy.spidermiddlewares.referer.RefererMiddleware', + 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', + 'scrapy.spidermiddlewares.depth.DepthMiddleware'] +2020-09-16 08:47:16 [scrapy.middleware] INFO: Enabled item pipelines: +['demo1.pipelines.ziranweiyuanhuiPipline'] +2020-09-16 08:47:16 [scrapy.core.engine] INFO: Spider opened +2020-09-16 08:47:16 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) +2020-09-16 08:47:16 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6026 +2020-09-16 08:47:16 [scrapy.crawler] INFO: Overridden settings: +{'BOT_NAME': 'demo1', + 'DOWNLOAD_DELAY': 1, + 'LOG_FILE': 'logs/huojuzhongxin_2020_9.log', + 'NEWSPIDER_MODULE': 'demo1.spiders', + 'RETRY_HTTP_CODES': [500, 502, 503, 504, 400, 403, 404, 408, 302], + 'RETRY_TIMES': True, + 'SPIDER_MODULES': ['demo1.spiders']} diff --git a/demo1/main.py b/demo1/main.py index 4d33c72..0978f14 100644 --- a/demo1/main.py +++ b/demo1/main.py @@ -3,5 +3,22 @@ from scrapy.utils.project import get_project_settings if __name__ == '__main__': process = CrawlerProcess(get_project_settings()) - process.crawl('chacewangSpider') # 你需要将此处的spider_name替换为你自己的爬虫名称 + # process.crawl('kexujishubuSpider') # 你需要将此处的spider_name替换为你自己的爬虫名称 + # process.crawl('chacewangSpider') + # process.crawl('gongyehexinxihuabuSpider')#这个应该得携带上cookie，多试用一下这个 + # process.crawl('ziranweiyuanhuiSpider') + # process.crawl('huojuzhognxinSpider') + # process.crawl('fagaiweiSpider') + # process.crawl('wenhuahelvyoubuSpider') + # process.crawl('zhongxiaoqiyejuSpider') + # process.crawl('cujinjuSpider') + # process.crawl('shanxishengkejitingSpider') + # process.crawl('sxsshangwutingSpider') + # process.crawl('sxgongxintingSpider') + # process.crawl('sxzonggaishifanquSpider') + # process.crawl('sxfagaiweiSpider') + # process.crawl('taiyuankexuejishujuSpider') + # process.crawl('taiyuangongyehexinxihuajuSpider') + # process.crawl('taiyuangongshangwujuSpider') + process.crawl('qicetongspider') process.start() \ No newline at end of file diff --git a/demo1/pipelines.py b/demo1/pipelines.py index 3826d97..47d3ed2 100644 --- a/demo1/pipelines.py +++ b/demo1/pipelines.py @@ -15,8 +15,11 @@ from scrapy.utils.project import get_project_settings import pymongo from twisted.enterprise import adbapi from DBUtils.PooledDB import PooledDB + +from demo1.Util import Asyninser from demo1.db_utils import MysqlUtil from scrapy.utils.project import get_project_settings + import logging class Demo1Pipeline: def process_item(self, item, spider): @@ -159,8 +162,11 @@ class ProcessMysqlPipeline(object): cursor.execute(insert_sql, (item['name'], item['base_url'], item['date'], item['coment'],)) + + #先走的是类方法，所以这里比初始话里面的语句要快的多。 #这里我们整个方法都用得是异步得方式得到得链接。 +#查策网的 class MysqlYiBUPipeline(object): def __init__(self, dbpool): self.dbpool = dbpool @@ -202,7 +208,7 @@ class MysqlYiBUPipeline(object): query = self.dbpool.runInteraction(self.do_insert, asynItem) # 指定操作方法和操作数据 # 添加异常处理 query.addErrback(self.handle_error) # 处理异常 - + return item def do_insert(self, cursor, item): # 对数据库进行插入操作，并不需要commit，twisted会自动commit #下面这个是一个模拟数据 @@ -218,7 +224,7 @@ class MysqlYiBUPipeline(object): # 'name1','name2','name3','name1','name2','name3','name1','name2','name3' # ] # } - logging.info(item) + #logging.info(item) if item['leixing']=='申报通知': item['leixing']=str(1) elif item['leixing']=='公示公告': @@ -274,6 +280,201 @@ class MysqlYiBUPipeline(object): def handle_error(self, failure): if failure: # 打印错误信息 - logging.info('数据库插入异常信息--------：'+failure) + logging.info('----------数据库插入异常信息--------') + logging.info(failure) + logging.info('---------异常信息结束--------') + def close_spider(self, spider): + logging.info('爬虫运行完毕了') +#科学技术部的 +class kexujishubuPipeline(object): + def __init__(self, dbpool): + self.dbpool = dbpool + @classmethod + def from_settings(cls,settings): # 函数名固定，会被scrapy调用，直接可用settings的值 + """ + 数据库建立连接 + :param settings: 配置参数 + :return: 实例化参数 + """ + adbparams = dict( + host=settings['MYSQL_HOST'], + db=settings['MYSQL_DATABASE'], + user=settings['MYSQL_USER'], + password=settings['MYSQL_PASSWORD'], + cursorclass=pymysql.cursors.DictCursor # 指定cursor类型 + ) + + # 连接数据池ConnectionPool，使用pymysql或者Mysqldb连接 + dbpool = adbapi.ConnectionPool('pymysql', **adbparams) + # 返回实例化参数 + return cls(dbpool) + def process_item(self, item, spider): + """ + 使用twisted将MySQL插入变成异步执行。通过连接池执行具体的sql操作，返回一个对象 + """ + asynItem = copy.deepcopy(item) + query = self.dbpool.runInteraction(self.do_insert, asynItem) # 指定操作方法和操作数据 + # 添加异常处理 + query.addErrback(self.handle_error) # 处理异常 + return item + def do_insert(self, cursor, item): + # 对数据库进行插入操作，并不需要commit，twisted会自动commit + #下面这个是一个模拟数据 + #logging.info(item) + sel_sql=''' + select id from t_area where area_short is not null and area_short = '%s' + ''' % item["laiyuan"] + cursor.execute(sel_sql) + result1=cursor.fetchall() + if len(result1)==0: + insert_sql = ''' + insert into t_area(area_name,area_short,area_status,area_parent_id,area_type) values('%s','%s','%s','%s','%s') + ''' % (str(item["laiyuan"]), str(item["laiyuan"]), str(1), str(1000000), str(1)) + cursor.execute(insert_sql) + cursor.execute(sel_sql) + result1 = cursor.fetchall() + laiyuan_id=result1[0].get('id') + item["jianjie"] = '_' + + insert_sql2=''' + insert into t_policy(title,title_url,img_url,publish_depart_id,publish_time,content,intro) + values('%s','%s','%s','%s','%s','%s','%s') + ''' % (str(item["biaoti"]),str(item['lianjie']),get_project_settings().get('TITLE_IMAGE')+str(random.randint(0,9))+'.png',str(laiyuan_id),item["shijian"],pymysql.escape_string(item["xiangqing"]),item["jianjie"]) + + sel_sql2=''' + select id from t_policy where title_url='%s' + '''% (item["lianjie"]) + cursor.execute(insert_sql2) + cursor.execute(sel_sql2) + result2 = cursor.fetchall() + xinwen_id=result2[-1].get('id') + item['biaoqian']=['_'] + for dange_biaoqian in item['biaoqian']: + insert_sql3=''' + insert into t_policy_label(policy_id,label_name) values('%s','%s') + '''% (str(xinwen_id),str(dange_biaoqian)) + cursor.execute(insert_sql3) + if item.get('wenjian') is not None: + b = [] + for a in item.get('wenjian'): + b.append(a['file_name']) + b.append(a['file_url']) + b.append(a['new_file']) + down_list_num = len(item.get('wenjian')) + insert_sql4 = 'insert into t_policy_file_crawl(policy_id,file_name,file_url,file_location) values' + \ + str((('("' + str(xinwen_id) + '","{}","{}","{}"),') * down_list_num).rstrip(',')).format(*b) + cursor.execute(insert_sql4) + def handle_error(self, failure): + if failure: + # 打印错误信息 + logging.info('----------数据库插入异常信息--------') + logging.info(failure) + logging.info('---------异常信息结束--------') def close_spider(self, spider): logging.info('爬虫运行完毕了') + + +#工业和信息化部 +class gongyehexinxihuabuPipline(Asyninser): + def __init__(self,dbpool): + self.dbpool=dbpool + def do_insert(self, cursor, item): + sel_sql = ''' + select id from t_area where area_short is not null and area_short = '%s' + ''' % item["laiyuan"] + cursor.execute(sel_sql) + result1 = cursor.fetchall() + if len(result1)==0: + insert_sql = ''' + insert into t_area(area_name,area_short,area_status,area_parent_id,area_type) values('%s','%s','%s','%s','%s') + ''' % (str(item["laiyuan"]), str(item["laiyuan"]), str(1), str(1000000), str(1)) + cursor.execute(insert_sql) + cursor.execute(sel_sql) + result1 = cursor.fetchall() + laiyuan_id = result1[0].get('id') + item["jianjie"] = '_' + + insert_sql2 = ''' + insert into t_policy(title,title_url,img_url,publish_depart_id,publish_time,content,intro) + values('%s','%s','%s','%s','%s','%s','%s') + ''' % (str(item["biaoti"]), str(item['lianjie']), + get_project_settings().get('TITLE_IMAGE') + str(random.randint(0, 9)) + '.png', + str(laiyuan_id), item["shijian"], pymysql.escape_string(item["xiangqing"]), + item["jianjie"]) + + sel_sql2 = ''' + select id from t_policy where title_url='%s' + ''' % (item["lianjie"]) + cursor.execute(insert_sql2) + cursor.execute(sel_sql2) + result2 = cursor.fetchall() + xinwen_id = result2[-1].get('id') + item['biaoqian'] = ['_'] + for dange_biaoqian in item['biaoqian']: + insert_sql3 = ''' + insert into t_policy_label(policy_id,label_name) values('%s','%s') + ''' % (str(xinwen_id), str(dange_biaoqian)) + cursor.execute(insert_sql3) + if item.get('wenjian') is not None: + b = [] + for a in item.get('wenjian'): + b.append(a['file_name']) + b.append(a['file_url']) + b.append(a['new_file']) + down_list_num = len(item.get('wenjian')) + insert_sql4 = 'insert into t_policy_file_crawl(policy_id,file_name,file_url,file_location) values' + \ + str((('("' + str(xinwen_id) + '","{}","{}","{}"),') * down_list_num).rstrip(',')).format(*b) + cursor.execute(insert_sql4) + +#国家自然科学基金委员会 and 火炬中心 +class ziranweiyuanhuiPipline(Asyninser): + def __init__(self,dbpool): + self.dbpool=dbpool + def do_insert(self, cursor, item): + sel_sql = ''' + select id from t_area where (area_short is not null and area_short = '%s') or (area_name = '%s') + ''' % (item["laiyuan"],item["laiyuan"]) + cursor.execute(sel_sql) + result1 = cursor.fetchall() + if len(result1) == 0: + insert_sql = ''' + insert into t_area(area_name,area_short,area_status,area_parent_id,area_type) values('%s','%s','%s','%s','%s') + ''' % (str(item["laiyuan"]), str(item["laiyuan"]), str(1), str(1000000), str(1)) + cursor.execute(insert_sql) + cursor.execute(sel_sql) + result1 = cursor.fetchall() + laiyuan_id = result1[0].get('id') + item["jianjie"] = '_' + + insert_sql2 = ''' + insert into t_policy(title,title_url,img_url,publish_depart_id,publish_time,content,intro) + values('%s','%s','%s','%s','%s','%s','%s') + ''' % (str(item["biaoti"]), str(item['lianjie']), + get_project_settings().get('TITLE_IMAGE') + str( + random.randint(0, 9)) + '.png', + str(laiyuan_id), item["shijian"], pymysql.escape_string(item["xiangqing"]), + item["jianjie"]) + + sel_sql2 = ''' + select id from t_policy where title_url='%s' + ''' % (item["lianjie"]) + cursor.execute(insert_sql2) + cursor.execute(sel_sql2) + result2 = cursor.fetchall() + xinwen_id = result2[-1].get('id') + item['biaoqian'] = ['_'] + for dange_biaoqian in item['biaoqian']: + insert_sql3 = ''' + insert into t_policy_label(policy_id,label_name) values('%s','%s') + ''' % (str(xinwen_id), str(dange_biaoqian)) + cursor.execute(insert_sql3) + if item.get('wenjian') is not None: + b = [] + for a in item.get('wenjian'): + b.append(a['file_name']) + b.append(a['file_url']) + b.append(a['new_file']) + down_list_num = len(item.get('wenjian')) + insert_sql4 = 'insert into t_policy_file_crawl(policy_id,file_name,file_url,file_location) values' + \ + str((('("' + str(xinwen_id) + '","{}","{}","{}"),') * down_list_num).rstrip(',')).format(*b) + cursor.execute(insert_sql4) \ No newline at end of file diff --git a/demo1/settings.py b/demo1/settings.py index e895e9e..8b12cb9 100644 --- a/demo1/settings.py +++ b/demo1/settings.py @@ -9,7 +9,8 @@ import datetime import random #如果要整个网站续爬就，把参数设置为False ，如果想整个网站都遍历一次那么就把参数改为True -RGODIC=True +# RGODIC=True +ISQUANPA=True #scrapyd-deploy -p chacewang -v 0.0.0 --build-egg=noall_demo1.egg BOT_NAME = 'demo1' #我们文件下载的位置，这里我们就一个要求，我们得带上路径中最后的 / ，因为在代码中我们已经已经添加上了这个符号 @@ -107,8 +108,17 @@ DOWNLOADER_MIDDLEWARES = { # Configure item pipelines # See https://docs.scrapy.org/en/latest/topics/item-pipeline.html ITEM_PIPELINES = { - 'demo1.pipelines.MongoDBPipeline': None, + #查策网的 'demo1.pipelines.MysqlYiBUPipeline': 678, + #科学技术部 + 'demo1.pipelines.kexujishubuPipeline':679, + #工信部 + 'demo1.pipelines.gongyehexinxihuabuPipline':680, + #自然科学基金委员会 + 'demo1.pipelines.ziranweiyuanhuiPipline':681, + #火炬中心-我估计他的pipline也一样，估计不用写，就用自然科学基金委员会得 + #'demo1.pipelines.huojuzhongxinPipline': 682 + } # Enable and configure the AutoThrottle extension (disabled by default) @@ -148,16 +158,22 @@ MYSQL_PASSWORD = "sdfe@#$QW" MYSQL_CHARSET = "utf8" #日志 current_day = datetime.datetime.now() + + LOG_ENABLED = True # 启用日志，默认不启用 LOG_ENCODING = 'utf-8' -LOG_FILE = "logs/{}_{}_{}.log".format(current_day.year, current_day.month, current_day.day) +#LOG_FILE = "logs/{}_{}_{}.log".format(current_day.year, current_day.month, current_day.day) LOG_LEVEL = "DEBUG" LOG_STDOUT = False # 输出重定向至log日志，比如print + + + #文件地址前缀 -FILE_PATH="http://49.232.6.143/file/download/know?path=/home/enterprise/staticrec/policy" +FILE_PATH="https://www.sxwikionline.com/gateway/enterprise/file/download/know?path=/home/enterprise/staticrec/policy" #图片地址前缀 -MESSAGE="http://49.232.6.143/staticrec/policy" -TITLE_IMAGE="http://49.232.6.143/staticrec/policy/image/" +MESSAGE="https://www.sxwikionline.com/staticrec/policy" +#图标的地址前缀 +TITLE_IMAGE="https://www.sxwikionline.com/staticrec/policy/image/" # 这个设置项的意思是遇到这些错误码就重新发送请求，但是如果错误码不在这里就不会重新请求，所以一定要填写所有需要重新请求的情况。 # 如果想要遇到错误就忽略掉，从来都不重新请求，就把它设成等于[]就好了。 #这个框架中自己带的重试方法，我们先得开启重试功能 @@ -165,4 +181,4 @@ RETRY_TIMES=True #重试次数 RETRY_HTTP_CODECS=6 #哪些状态需要重试 -RETRY_HTTP_CODES = [500, 502, 503, 504, 400, 403, 404, 408] +RETRY_HTTP_CODES = [500, 502, 503, 504, 400, 403, 404, 408, 302] diff --git a/demo1/spiders/__pycache__/chacewangSpider.cpython-37.pyc b/demo1/spiders/__pycache__/chacewangSpider.cpython-37.pyc index c8728e8..125b7c3 100644 Binary files a/demo1/spiders/__pycache__/chacewangSpider.cpython-37.pyc and b/demo1/spiders/__pycache__/chacewangSpider.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/fagaiweiSpider.cpython-37.pyc b/demo1/spiders/__pycache__/fagaiweiSpider.cpython-37.pyc new file mode 100644 index 0000000..dba3acb Binary files /dev/null and b/demo1/spiders/__pycache__/fagaiweiSpider.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/gongyehexinxihuabuSpider.cpython-37.pyc b/demo1/spiders/__pycache__/gongyehexinxihuabuSpider.cpython-37.pyc new file mode 100644 index 0000000..4db6f65 Binary files /dev/null and b/demo1/spiders/__pycache__/gongyehexinxihuabuSpider.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/huojuzhongxinSpider.cpython-37.pyc b/demo1/spiders/__pycache__/huojuzhongxinSpider.cpython-37.pyc new file mode 100644 index 0000000..ebd964f Binary files /dev/null and b/demo1/spiders/__pycache__/huojuzhongxinSpider.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/kexujishubuSpider.cpython-37.pyc b/demo1/spiders/__pycache__/kexujishubuSpider.cpython-37.pyc new file mode 100644 index 0000000..74eaa3a Binary files /dev/null and b/demo1/spiders/__pycache__/kexujishubuSpider.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/qicetongSpider.cpython-37.pyc b/demo1/spiders/__pycache__/qicetongSpider.cpython-37.pyc new file mode 100644 index 0000000..e05eea9 Binary files /dev/null and b/demo1/spiders/__pycache__/qicetongSpider.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/shanxifagaiwei.cpython-37.pyc b/demo1/spiders/__pycache__/shanxifagaiwei.cpython-37.pyc new file mode 100644 index 0000000..37d6dae Binary files /dev/null and b/demo1/spiders/__pycache__/shanxifagaiwei.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/shanxigongxintingSpider.cpython-37.pyc b/demo1/spiders/__pycache__/shanxigongxintingSpider.cpython-37.pyc new file mode 100644 index 0000000..6b06681 Binary files /dev/null and b/demo1/spiders/__pycache__/shanxigongxintingSpider.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/shanxishengkejitingSpider.cpython-37.pyc b/demo1/spiders/__pycache__/shanxishengkejitingSpider.cpython-37.pyc new file mode 100644 index 0000000..372ed59 Binary files /dev/null and b/demo1/spiders/__pycache__/shanxishengkejitingSpider.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/shanxishengshangwutingSpider.cpython-37.pyc b/demo1/spiders/__pycache__/shanxishengshangwutingSpider.cpython-37.pyc new file mode 100644 index 0000000..b6ec1b7 Binary files /dev/null and b/demo1/spiders/__pycache__/shanxishengshangwutingSpider.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/shanxixiaoqiyecujinjuSpider.cpython-37.pyc b/demo1/spiders/__pycache__/shanxixiaoqiyecujinjuSpider.cpython-37.pyc new file mode 100644 index 0000000..f01745f Binary files /dev/null and b/demo1/spiders/__pycache__/shanxixiaoqiyecujinjuSpider.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/shanxizonggaiquSpider.cpython-37.pyc b/demo1/spiders/__pycache__/shanxizonggaiquSpider.cpython-37.pyc new file mode 100644 index 0000000..a28ddea Binary files /dev/null and b/demo1/spiders/__pycache__/shanxizonggaiquSpider.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/taiyuangongyehexinxihuajuSpider.cpython-37.pyc b/demo1/spiders/__pycache__/taiyuangongyehexinxihuajuSpider.cpython-37.pyc new file mode 100644 index 0000000..9d85f2d Binary files /dev/null and b/demo1/spiders/__pycache__/taiyuangongyehexinxihuajuSpider.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/taiyuanshangwujuSpider.cpython-37.pyc b/demo1/spiders/__pycache__/taiyuanshangwujuSpider.cpython-37.pyc new file mode 100644 index 0000000..098e982 Binary files /dev/null and b/demo1/spiders/__pycache__/taiyuanshangwujuSpider.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/taiyuanshikexujishujuSpider.cpython-37.pyc b/demo1/spiders/__pycache__/taiyuanshikexujishujuSpider.cpython-37.pyc new file mode 100644 index 0000000..77f7a93 Binary files /dev/null and b/demo1/spiders/__pycache__/taiyuanshikexujishujuSpider.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/wenhuahelvyoubuSpider.cpython-37.pyc b/demo1/spiders/__pycache__/wenhuahelvyoubuSpider.cpython-37.pyc new file mode 100644 index 0000000..f5fcd15 Binary files /dev/null and b/demo1/spiders/__pycache__/wenhuahelvyoubuSpider.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/zhongxiaoqiyejuSpider.cpython-37.pyc b/demo1/spiders/__pycache__/zhongxiaoqiyejuSpider.cpython-37.pyc new file mode 100644 index 0000000..a3edc5a Binary files /dev/null and b/demo1/spiders/__pycache__/zhongxiaoqiyejuSpider.cpython-37.pyc differ diff --git a/demo1/spiders/__pycache__/ziranweiyuanhuiSpider.cpython-37.pyc b/demo1/spiders/__pycache__/ziranweiyuanhuiSpider.cpython-37.pyc new file mode 100644 index 0000000..89c8883 Binary files /dev/null and b/demo1/spiders/__pycache__/ziranweiyuanhuiSpider.cpython-37.pyc differ diff --git a/demo1/spiders/chacewangSpider.py b/demo1/spiders/chacewangSpider.py index d6ea27f..f7b7882 100644 --- a/demo1/spiders/chacewangSpider.py +++ b/demo1/spiders/chacewangSpider.py @@ -4,6 +4,7 @@ import re from uuid import uuid4 import copy import datetime +from demo1.custom_settings_conf import * from demo1.items import Shouyelianjie from scrapy.utils.project import get_project_settings import pymysql @@ -19,7 +20,7 @@ class ChacewangSpider(scrapy.Spider): 忻州：currentCity :18B4119A-8390-4233-BDC5-F01F66CF8804 ''' allowed_domains = ['chacewang.com'] - + custom_settings = custom_settings_conf_chacewang def __init__(self, name=None, **kwargs): self.db = pymysql.connect( host=self.settings['MYSQL_HOST'], @@ -32,7 +33,6 @@ class ChacewangSpider(scrapy.Spider): use_unicode=True ) self.cursor = self.db.cursor() - self.ergodic=get_project_settings().get('RGODIC') def start_requests(self): cityAndCookie=currenCitys= self.settings.get('CURRENT_CITY') @@ -106,7 +106,7 @@ class ChacewangSpider(scrapy.Spider): #这里是判断我们要插入的一条链接是否已经存在了。所以我们要查库。 #应该这么想，直接在这里写我们得异步操作 - if not self.ergodic: + if not self.settings.get('ISQUANPA'): #续爬 self.cursor.execute('select count(title_url) as nums FROM t_policy where title_url ="{}"'.format(url)) @@ -114,7 +114,7 @@ class ChacewangSpider(scrapy.Spider): #这里应该加一个值，判断次数而且是首页 下面这个是首页和第一页。要是还要向下判断就再前面加pageindex=2 in str(req_url).lower() if res==0: yield scrapy.FormRequest(url=item['lianjie'], - meta={'item': copy.deepcopy(item)}, + meta={'item': item}, callback=self.parse_url, method='GET' ) @@ -123,7 +123,7 @@ class ChacewangSpider(scrapy.Spider): else: #全爬 yield scrapy.FormRequest(url=item['lianjie'], - meta={'item': copy.deepcopy(item)}, + meta={'item': item}, callback=self.parse_url, method='GET' ) @@ -139,9 +139,9 @@ class ChacewangSpider(scrapy.Spider): next_url=next_urls[-2].xpath('.//a/@href').extract_first() if 'javascript:void(0)' not in next_url: urls=self.settings.get('WANGZHI')+next_url - if not self.ergodic: + if not self.settings.get('ISQUANPA'): # 这一句就是我们判断是否执行下一页的语句，要爬多少页的数据，去掉这个if语句的话就可以遍历整个网站了。 - if ('pageindex=1' in str(req_url).lower()) or ('pageindex' not in str(req_url)): + if (('pageindex' not in str(req_url))): #'pageindex=1' in str(req_url).lower()) or yield scrapy.FormRequest( url=urls, callback=self.parse, @@ -269,4 +269,4 @@ class ChacewangSpider(scrapy.Spider): sub = uuid[i * 4: i * 4 + 4] x = int(sub, 16) result += uuidChars[x % 0x3E] - return result + return result \ No newline at end of file diff --git a/demo1/spiders/fagaiweiSpider.py b/demo1/spiders/fagaiweiSpider.py new file mode 100644 index 0000000..d7d3c18 --- /dev/null +++ b/demo1/spiders/fagaiweiSpider.py @@ -0,0 +1,83 @@ +import scrapy +from uuid import uuid4 +import re +from scrapy.spiders import CrawlSpider +from demo1.custom_settings_conf import * +from demo1.items import Shouyelianjie +from scrapy.utils.project import get_project_settings +import pymysql +import logging +import json +import time +from lxml import etree +from urllib import parse +from demo1.Util import Util_WANG +class fagaiweiSpider(scrapy.Spider,Util_WANG): + name='fagaiweiSpider' + settings = get_project_settings() + allowed_domains = ['ndrc.gov.cn'] + custom_settings = custom_settings_conf_fagaiwei + start_urls=['https://www.ndrc.gov.cn/xxgk/zcfb/tz/index.html'] + def __init__(self, name=None, **kwargs): + self.db = pymysql.connect( + host=self.settings['MYSQL_HOST'], + database=self.settings['MYSQL_DATABASE'], + user=self.settings['MYSQL_USER'], + password=self.settings['MYSQL_PASSWORD'], + port=3306, + charset='utf8', + cursorclass=pymysql.cursors.DictCursor, + use_unicode=True + ) + self.cursor = self.db.cursor() + def parse(self, response): + lis=response.xpath('//*[@class="list"]/ul/li[not(@class="empty")]') + for lis_sigl in lis: + item=Shouyelianjie() + item['biaoti']=lis_sigl.xpath('./a/@title').extract_first() + item['shijian']=lis_sigl.xpath('.//span/text()').extract_first().replace('/','-') + item['lianjie']='https://www.ndrc.gov.cn/xxgk/zcfb/tz'+lis_sigl.xpath('.//a/@href').extract_first().strip('.') + item['laiyuan']='发改委' + if not self.settings.get("ISQUANPA"): + self.cursor.execute( + 'select count(title_url) as nums FROM t_policy where title_url ="{}"'.format(item['lianjie'])) + res = self.cursor.fetchall()[0].get('nums') + if res == 0: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + else: + logging.info('这个链接已经爬过了-----：' + item['lianjie']) + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + if self.settings.get("ISQUANPA"): + try: + next_page = response.xpath('//*[@class="page"]//script').re('\d{1,2}.*?,.*?\d{1,2}')[0].split(',') + count_page = int(next_page[0].strip()) + curry_page = int(next_page[-1].strip())+1 + if curry_page < count_page: + urls = 'https://www.ndrc.gov.cn/xxgk/zcfb/tz/index_' + str(curry_page) + '.html' + yield scrapy.Request(url=urls, callback=self.parse) + except Exception as e: + logging(e) + logging.info('因为异常：全部爬取完毕') + else: + logging.info('全部爬取完毕') + + + # 测试页面的直接 + # urls='https://www.ndrc.gov.cn/xxgk/zcfb/tz/202004/t20200414_1225669.html' + # yield scrapy.Request(url=urls,callback=self.page_url,meta={'item':Shouyelianjie()}) + + def page_url(self,response): + item=response.meta['item'] + txts=response.xpath('//*[@class="article_l"]/*[not(contains(@class,"shezhi"))]') + a='' + for txt in txts: + a+=txt.extract() + item['xiangqing']=a + self.tihuan_a_return(item, self.settings.get('FILE_PATH'),response) + self.tihuan_img_return(item, self.settings.get('MESSAGE'),response) + yield item + def a_fun(self,href): + pass + def img_fun(self, src): + pass \ No newline at end of file diff --git a/demo1/spiders/gongyehexinxihuabuSpider.py b/demo1/spiders/gongyehexinxihuabuSpider.py new file mode 100644 index 0000000..afe3924 --- /dev/null +++ b/demo1/spiders/gongyehexinxihuabuSpider.py @@ -0,0 +1,112 @@ +import scrapy +from uuid import uuid4 +import re +from scrapy.spiders import CrawlSpider +from demo1.custom_settings_conf import * +from demo1.items import Shouyelianjie +from scrapy.utils.project import get_project_settings +import pymysql +import logging +import json +import time +from urllib import parse +from demo1.Util import Util_WANG +class gongyehexinxihuabuSpider(scrapy.Spider,Util_WANG): + name = 'gongyehexinxihuabuSpider' + settings = get_project_settings() + allowed_domains = ['miit.gov.cn'] + custom_settings = custom_settings_conf_gongyehexinxihuabu + + def __init__(self, name=None, **kwargs): + self.db = pymysql.connect( + host=self.settings['MYSQL_HOST'], + database=self.settings['MYSQL_DATABASE'], + user=self.settings['MYSQL_USER'], + password=self.settings['MYSQL_PASSWORD'], + port=3306, + charset='utf8', + cursorclass=pymysql.cursors.DictCursor, + use_unicode=True + ) + self.cursor = self.db.cursor() + def start_requests(self): + url='http://www.miit.gov.cn/gdnps/wjfbindex.jsp' + yield scrapy.Request(url=url,callback=self.dierci_requests) + def dierci_requests(self,response): + url = self.return_url() + yield scrapy.Request(url=url, callback=self.parse) + def parse(self, response): + txt=response.text + txt=txt[txt.find('{'):txt.rfind('}')+1] + txt=json.loads(txt) + curPage = txt['curPage'] + totalpagenum = txt['totalPageNum'] + for ac in txt['resultMap']: + item=Shouyelianjie() + item['biaoti']=ac['title'] + res_time=datetime.datetime.strptime(ac['publishTime'],'%Y%m%d%H%M%S').strftime('%Y-%m-%d') + item['shijian']=res_time + buafter='' + try: + buafter=ac['fbjgmc'] + except: + logging.info('没有这个字段') + item['laiyuan']='工信部'+buafter + chushi_url="http://www.miit.gov.cn"+ac['ownSubjectDn'].replace("/1/29/","/").replace('/',"/n")+"/c"+ac['id']+"/content.html" + item['lianjie']=chushi_url + item['xiangqing']=ac['htmlContent'] + #html=etree.HTML(ac['htmlContent']) + #self.tihuan_a_return(item,ac['htmlContent'],self.settings.get('FILE_PATH')) + self.tihuan_a_return(item,self.settings.get('FILE_PATH')) + self.tihuan_img_return(item,self.settings.get('MESSAGE')) + if not self.settings.get('ISQUANPA'): + # 续爬解析页面 + self.cursor.execute( + 'select count(title_url) as nums FROM t_policy where title_url ="{}"'.format(item['lianjie'])) + res = self.cursor.fetchall()[0].get('nums') + if res == 0: + yield item + else: + logging.info('这个链接已经爬过了-----：' + item['lianjie']) + else: + yield item + if self.settings.get('ISQUANPA'): + if curPage0 and (str(c.extract_first()).lower()=="ContentEnd".lower()): + b=a_i + a2=a1[0:a_i-1:] + a_suoyou=response.xpath('//*[@id="Zoom"]//a[@href and (' + self.jiewei_contains() + ')]') + als = response.xpath('//*[@id="Zoom"]')[0].re('')[0] + als = str(als) + txt = als[als.find('name="ContentStart"') + len('name="ContentStart">'):als.rfind('curr: + next_page='http://www.easyshb.com/alias/zck.htm?categoryId=&name=&pageNumber='+str(curr+1)+'&areaLevel=&cityId=¬iceType=M7EkvSokQa3QVgX6WFf5LP&policyType=' + yield scrapy.Request(url=next_page, callback=self.parse) + except: + logging.info('全部爬取完毕') + def page_url(self,response): + item=response.meta['item'] + item['xiangqing'] = response.xpath('//div[contains(@class,"content")]').extract_first() + self.tihuan_a_return(item, self.settings.get('FILE_PATH'), response) + self.tihuan_img_return(item, self.settings.get('MESSAGE'), response) + yield item + def a_fun(self,href): + pass + def img_fun(self, src): + pass \ No newline at end of file diff --git a/demo1/spiders/shanxifagaiwei.py b/demo1/spiders/shanxifagaiwei.py new file mode 100644 index 0000000..865975b --- /dev/null +++ b/demo1/spiders/shanxifagaiwei.py @@ -0,0 +1,72 @@ +import scrapy +from uuid import uuid4 +import re +from demo1.custom_settings_conf import * +from demo1.items import Shouyelianjie +from scrapy.utils.project import get_project_settings +from scrapy.spiders import CrawlSpider, Rule +from scrapy.linkextractors import LinkExtractor +import pymysql +import logging +import json +import time +from lxml import etree +from urllib import parse +from demo1.Util import Util_WANG +#山西省发改委 +class sxfagaiweiSpider(scrapy.Spider,Util_WANG): + name = 'sxfagaiweiSpider' + settings = get_project_settings() + allowed_domains = ['fgw.shanxi.gov.cn'] + custom_settings = custom_settings_conf_sxfagaiweiSpider + start_urls = ['http://fgw.shanxi.gov.cn/xmsb/'] + + def __init__(self, name=None, **kwargs): + self.db = pymysql.connect( + host=self.settings['MYSQL_HOST'], + database=self.settings['MYSQL_DATABASE'], + user=self.settings['MYSQL_USER'], + password=self.settings['MYSQL_PASSWORD'], + port=3306, + charset='utf8', + cursorclass=pymysql.cursors.DictCursor, + use_unicode=True + ) + self.cursor = self.db.cursor() + def parse(self, response): + lis=response.xpath('//div[@class="list-block-wrap"]//ul[contains(@class,"content")]/li') + for li in lis: + item=Shouyelianjie() + item['laiyuan']='山西省发改委' + item['lianjie']=response.urljoin(li.xpath('.//a/@href').extract_first()) + item['biaoti']=li.xpath('.//a/text()').extract_first() + item['shijian']=li.xpath('.//em/text()').extract_first() + #测试 + #item['lianjie']='http://fgw.shanxi.gov.cn/fggz/wngz/wzzs/202006/t20200604_124281.shtml' + if not self.settings.get("ISQUANPA"): + self.cursor.execute( + 'select count(title_url) as nums FROM t_policy where title_url ="{}"'.format(item['lianjie'])) + res = self.cursor.fetchall()[0].get('nums') + if res == 0: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + else: + logging.info('这个链接已经爬过了-----：' + item['lianjie']) + else: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + pass + def page_url(self,response): + item=response.meta['item'] + item['xiangqing']=response.xpath('//div[@class="TRS_Editor"]').extract_first() + self.tihuan_a_return(item, self.settings.get('FILE_PATH'), response) + self.tihuan_img_return(item, self.settings.get('MESSAGE'), response) + yield item + def a_fun(self,href): + pass + def img_fun(self, src): + pass \ No newline at end of file diff --git a/demo1/spiders/shanxigongxintingSpider.py b/demo1/spiders/shanxigongxintingSpider.py new file mode 100644 index 0000000..7f6da5c --- /dev/null +++ b/demo1/spiders/shanxigongxintingSpider.py @@ -0,0 +1,89 @@ +import scrapy +from uuid import uuid4 +import re +from demo1.custom_settings_conf import * +from demo1.items import Shouyelianjie +from scrapy.utils.project import get_project_settings +from scrapy.spiders import CrawlSpider, Rule +from scrapy.linkextractors import LinkExtractor +import pymysql +import logging +import json +import time +from lxml import etree +from urllib import parse +from demo1.Util import Util_WANG +#山西省工业和信息厅 +class sxsshangwutingSpider(scrapy.Spider,Util_WANG): + name = 'sxgongxintingSpider' + settings = get_project_settings() + allowed_domains = ['gxt.shanxi.gov.cn'] + custom_settings = custom_settings_conf_sxgongxintingSpider + start_urls = ['http://gxt.shanxi.gov.cn/web/cateList.html?id=26&word=&pageIndex=1'] + + def __init__(self, name=None, **kwargs): + self.db = pymysql.connect( + host=self.settings['MYSQL_HOST'], + database=self.settings['MYSQL_DATABASE'], + user=self.settings['MYSQL_USER'], + password=self.settings['MYSQL_PASSWORD'], + port=3306, + charset='utf8', + cursorclass=pymysql.cursors.DictCursor, + use_unicode=True + ) + self.cursor = self.db.cursor() + def parse(self, response): + lis=response.xpath('//*[@class="zwgk-ul"]/li[not(@style)]') + for li in lis: + item=Shouyelianjie() + item['laiyuan']='山西省工业和信息厅' + item['lianjie']=response.urljoin( li.xpath('./a/@href').extract_first()) + shijian=li.xpath('./i/text()').extract_first() + item['shijian']=datetime.datetime.strptime(shijian,'%Y-%m-%d %H:%M:%S').strftime('%Y-%m-%d') + item['biaoti']=li.xpath('./a/text()').extract_first() + #测试用得 + #item['lianjie']='http://gxt.shanxi.gov.cn/web/content.html?id=1511' + if not self.settings.get("ISQUANPA"): + self.cursor.execute( + 'select count(title_url) as nums FROM t_policy where title_url ="{}"'.format(item['lianjie'])) + res = self.cursor.fetchall()[0].get('nums') + if res == 0: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + else: + logging.info('这个链接已经爬过了-----：' + item['lianjie']) + else: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + if self.settings.get("ISQUANPA"): + try: + next_page=response.urljoin(response.xpath('//a[contains(text(),"下一页")]/@href').extract_first()) + # if curry_page < count_page: + # urls = 'https://www.mct.gov.cn/whzx/ggtz/index_' + str(curry_page) + '.htm' + # yield scrapy.Request(url=urls, callback=self.parse) + current_url=response.url + if next_page!=current_url: + yield scrapy.Request(url=next_page, callback=self.parse) + except Exception as e: + logging(e) + logging.info('因为异常：全部爬取完毕') + else: + logging.info('全部爬取完毕') + def page_url(self,response): + item=response.meta['item'] + item['xiangqing']=response.xpath('//*[contains(@class,"textbody")]').extract_first() + wenjiande=response.xpath('//*[@class="attachment"]').extract_first() + if wenjiande is not None: + item['xiangqing']+=wenjiande + self.tihuan_a_return(item, self.settings.get('FILE_PATH'), response) + self.tihuan_img_return(item, self.settings.get('MESSAGE'), response) + yield item + def a_fun(self,href): + pass + def img_fun(self, src): + pass \ No newline at end of file diff --git a/demo1/spiders/shanxishengkejitingSpider.py b/demo1/spiders/shanxishengkejitingSpider.py new file mode 100644 index 0000000..74f67b4 --- /dev/null +++ b/demo1/spiders/shanxishengkejitingSpider.py @@ -0,0 +1,96 @@ +import scrapy +from uuid import uuid4 +import re +from demo1.custom_settings_conf import * +from demo1.items import Shouyelianjie +from scrapy.utils.project import get_project_settings +from scrapy.spiders import CrawlSpider, Rule +from scrapy.linkextractors import LinkExtractor +import pymysql +import logging +import json +import time +from lxml import etree +from urllib import parse +from demo1.Util import Util_WANG +#山西省科技厅 +class kejitingSpider(scrapy.Spider,Util_WANG): + name = 'shanxishengkejitingSpider' + settings = get_project_settings() + allowed_domains = ['kjt.shanxi.gov.cn'] + custom_settings = custom_settings_conf_sxkejitingSpider + start_urls = ['http://kjt.shanxi.gov.cn/tzgg/index.jhtml'] + + def __init__(self, name=None, **kwargs): + self.db = pymysql.connect( + host=self.settings['MYSQL_HOST'], + database=self.settings['MYSQL_DATABASE'], + user=self.settings['MYSQL_USER'], + password=self.settings['MYSQL_PASSWORD'], + port=3306, + charset='utf8', + cursorclass=pymysql.cursors.DictCursor, + use_unicode=True + ) + self.cursor = self.db.cursor() + def parse(self, response): + lis=response.xpath('//*[@align="center"]//tr[not(@class)]') + year = datetime.datetime.now().strftime('%Y') + mouth = datetime.datetime.now().strftime('%m') + for li in lis: + item=Shouyelianjie() + item['lianjie']=response.urljoin(li.xpath('.//a/@href').extract_first()) + item['shijian']=li.xpath('.//td')[-3].xpath('./text()').extract_first().replace('.','-') + item['biaoti']=li.xpath('.//a/text()').extract_first() + item['laiyuan']='山西省科技厅'+li.xpath('.//td')[-2].xpath('./text()').extract_first() + + if not self.settings.get("ISQUANPA"): + self.cursor.execute( + 'select count(title_url) as nums FROM t_policy where title_url ="{}"'.format(item['lianjie'])) + res = self.cursor.fetchall()[0].get('nums') + + if res == 0: + if not (item['lianjie'].endswith('.jhtml') or item['lianjie'].endswith('.html')): + item['wenjian']=[{'file_name':'原文件'}] + item['wenjian'][0]['file_url']=item['lianjie'] + houzui = item['wenjian'][0]['file_url'][item['wenjian'][0]['file_url'].rfind('/') + 1:] + new_url = '/' + year + '/' + mouth + '/' + self.short_uuid() + '_' + houzui + item['wenjian'][0]['new_file']=new_url + item['xiangqing'] = '' + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_item) + else: + logging.info('这个链接已经爬过了-----：' + item['lianjie']) + else: + if not (item['lianjie'].endswith('.jhtml') or item['lianjie'].endswith('.html')): + item['wenjian'] = [{'file_name': '原文件'}] + item['wenjian'][0]['file_url'] = item['lianjie'] + houzui = item['wenjian'][0]['file_url'][item['wenjian'][0]['file_url'].rfind('/') + 1:] + new_url = '/' + year + '/' + mouth + '/' + self.short_uuid() + '_' + houzui + item['wenjian'][0]['new_file'] = new_url + item['xiangqing'] = '

请查看原文附件：原文件

' + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_item) + if self.settings.get("ISQUANPA"): + try: + next_page = response.xpath('//a[text()="下一页"]/@href').extract_first() + if next_page is not None: + yield scrapy.Request(url='http://kjt.shanxi.gov.cn/tzgg/' + next_page, + callback=self.parse) + else: + logging.info('所有的结束') + except: + logging.info('全部爬取完毕') + def page_item(self,response): + item=response.meta['item'] + item['xiangqing']=response.xpath('//*[@id="zoom"]').extract_first() + self.tihuan_a_return(item, self.settings.get('FILE_PATH'), response) + self.tihuan_img_return(item, self.settings.get('MESSAGE'), response) + yield item + def a_fun(self,href): + pass + def img_fun(self, src): + pass \ No newline at end of file diff --git a/demo1/spiders/shanxishengshangwutingSpider.py b/demo1/spiders/shanxishengshangwutingSpider.py new file mode 100644 index 0000000..dad221a --- /dev/null +++ b/demo1/spiders/shanxishengshangwutingSpider.py @@ -0,0 +1,183 @@ +import scrapy +from uuid import uuid4 +import re +from demo1.custom_settings_conf import * +from demo1.items import Shouyelianjie +from scrapy.utils.project import get_project_settings +from scrapy.spiders import CrawlSpider, Rule +from scrapy.linkextractors import LinkExtractor +import pymysql +import logging +import json +import time +from lxml import etree +from urllib import parse +from demo1.Util import Util_WANG +#山西省商务厅 +class sxsshangwutingSpider(scrapy.Spider,Util_WANG): + name = 'sxsshangwutingSpider' + settings = get_project_settings() + allowed_domains = ['swt.shanxi.gov.cn'] + custom_settings = custom_settings_conf_sxShangwutingSpider + start_urls = ['http://swt.shanxi.gov.cn/Main/list.action?channelId=27'] + + def __init__(self, name=None, **kwargs): + self.db = pymysql.connect( + host=self.settings['MYSQL_HOST'], + database=self.settings['MYSQL_DATABASE'], + user=self.settings['MYSQL_USER'], + password=self.settings['MYSQL_PASSWORD'], + port=3306, + charset='utf8', + cursorclass=pymysql.cursors.DictCursor, + use_unicode=True + ) + self.cursor = self.db.cursor() + def parse(self, response): + pages=response.xpath('//*[@class="pgTotalPage"]/text()').extract_first() + script=response.xpath('//script[contains(text(),"listTable.filter.channelId")]/text()').extract_first().lower() + size=re.search('pagesize.*?=.*?\d+',script).group().replace('pagesize','').replace('=','').strip() + pageCount=re.search('pagecount.*?=.*?\d+',script).group().replace(r'pagecount','').replace('=','').strip() + lis=response.xpath('//*[@class="t_text"]//li') + for li in lis: + item=Shouyelianjie() + item['lianjie']=response.urljoin(li.xpath('.//a/@href').extract_first()) + item['laiyuan']='山西省商务厅' + item['biaoti']=li.xpath('.//a/@title').extract_first() + item['shijian']=li.xpath('.//span/text()').extract_first() + # 测试链接得用 + #item['lianjie'] = 'http://swt.shanxi.gov.cn/Main/cmsContent.action?articleId=369d459b-a799-4e8a-87b7-8cd6c5cfc371' + if not self.settings.get("ISQUANPA"): + self.cursor.execute( + 'select count(title_url) as nums FROM t_policy where title_url ="{}"'.format(item['lianjie'])) + res = self.cursor.fetchall()[0].get('nums') + if res == 0: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + else: + logging.info('这个链接已经爬过了-----：' + item['lianjie']) + else: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + if self.settings.get("ISQUANPA"): + try: + pageCount=int(pageCount) + for page_next in range(2,pageCount+1): + url_next='http://swt.shanxi.gov.cn/Main/list.action?ajax=true&pageCount='+str(pageCount)+'&pageSize='+size+'&page='+str(page_next)+'&channelId=27' + yield scrapy.Request(url=url_next, callback=self.page_next_url) + except Exception as e: + logging(e) + logging.info('因为异常：全部爬取完毕') + else: + logging.info('全部爬取完毕') + def page_next_url(self,response): + context_json=json.loads(response.text) + context=context_json['content'] + context_html=etree.HTML(context) + lis=context_html.xpath('//ul/li') + for li in lis: + item=Shouyelianjie() + item['lianjie']=response.urljoin(li.xpath('.//a/@href')[0]) + item['laiyuan']='山西省商务厅' + item['biaoti']=li.xpath('.//a/@title')[0] + item['shijian']=li.xpath('.//span/text()')[0] + if not self.settings.get("ISQUANPA"): + self.cursor.execute( + 'select count(title_url) as nums FROM t_policy where title_url ="{}"'.format(item['lianjie'])) + res = self.cursor.fetchall()[0].get('nums') + if res == 0: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + else: + logging.info('这个链接已经爬过了-----：' + item['lianjie']) + else: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + def page_url(self,response): + item=response.meta['item'] + item['xiangqing']=response.xpath('//div[@id="zoom"]').extract_first() + self.tihuan_a_return(item, self.settings.get('FILE_PATH'), response) + self.tihuan_img_return(item, self.settings.get('MESSAGE'), response) + #需要特别定制一个了 + self.dingzhi_tihuan_a(item,self.settings.get('FILE_PATH'),response) + yield item + def dingzhi_tihuan_a(self,item, tihuanlujing,response=None): + txt = item['xiangqing'] + year = datetime.datetime.now().strftime('%Y') + mouth = datetime.datetime.now().strftime('%m') + panDuanNone = lambda x: '_' if x is None else x + html = etree.HTML(txt) + alis = html.xpath('//a[@href and contains(@href,"getFile.action?fileId")]') + for alis_single in alis: + single_a_file = {} + href = str(alis_single.xpath('@href')[0]) + content = str(panDuanNone(alis_single.xpath('string(.)'))) + if content.strip() in '': + content = '_' + single_a_file['file_name'] = content + # 每次只需要修改这里我们实际的下载链接地址 + old_url = href + if href.lower().startswith('http'): + single_a_file['file_url'] = old_url + elif response != None and (old_url.lower().startswith('./') or old_url.lower().startswith('../')): + single_a_file['file_url'] = response.urljoin(old_url) + elif response != None and (old_url.lower().startswith('/') or old_url.lower().startswith('/')): + single_a_file['file_url'] = response.urljoin(old_url) + + #houzui = single_a_file['file_url'][single_a_file['file_url'].rfind('/') + 1:] + houzui=single_a_file['file_url'][single_a_file['file_url'].rfind('=') + 1:] + new_url = '/' + year + '/' + mouth + '/' + self.short_uuid() +'_' + houzui+'.' + txt = txt.replace(old_url, tihuanlujing + new_url) + single_a_file['new_file'] = new_url + try: + item['wenjian'].append(single_a_file) + except: + item['wenjian'] = [single_a_file] + item['xiangqing'] = txt + def a_fun(self,href): + pass + def img_fun(self, src): + pass + def return_url(self, size=10, curr_page=1): + start_url = 'http://www.miit.gov.cn/gdnps/searchIndex.jsp' + curr_time = time.time() + size = size + curr_page = curr_page + params = { + "goPage": curr_page, + "orderBy": [ + { + "orderBy": "publishTime", + "reverse": "true" + }, + { + "orderBy": "orderTime", + "reverse": "true" + } + ], + "pageSize": size, + "queryParam": [ + {}, + {}, + { + "shortName": "fbjg", + "value": "/1/29/1146295/1652858/1652930" + } + ] + } + d = time.time() + d_int = int(round(d * 1000)) + jquery = 'jQuery111108461701558527148_' + str(d_int) + params = json.dumps(params).replace(' ', '').replace('"true"', 'true') + url = start_url + "?params=" + parse.quote(parse.quote(params)).replace('/', + '%252F') + '&callback=' + jquery + '&_=' + str( + d_int + 1) + return url \ No newline at end of file diff --git a/demo1/spiders/shanxixiaoqiyecujinjuSpider.py b/demo1/spiders/shanxixiaoqiyecujinjuSpider.py new file mode 100644 index 0000000..706121e --- /dev/null +++ b/demo1/spiders/shanxixiaoqiyecujinjuSpider.py @@ -0,0 +1,80 @@ +import scrapy +from uuid import uuid4 +import re +from demo1.custom_settings_conf import * +from demo1.items import Shouyelianjie +from scrapy.utils.project import get_project_settings +from scrapy.spiders import CrawlSpider, Rule +from scrapy.linkextractors import LinkExtractor +import pymysql +import logging +import json +import time +from lxml import etree +from urllib import parse +from demo1.Util import Util_WANG +#山西省中小企业发展促进局 +class cujinjuSpider(scrapy.Spider,Util_WANG): + name = 'cujinjuSpider' + settings = get_project_settings() + allowed_domains = ['xqyj.shanxi.gov.cn'] + custom_settings = custom_settings_conf_cujinjuSpider + start_urls = ['http://xqyj.shanxi.gov.cn/v2/html/tzgg/index.html'] + + def __init__(self, name=None, **kwargs): + self.db = pymysql.connect( + host=self.settings['MYSQL_HOST'], + database=self.settings['MYSQL_DATABASE'], + user=self.settings['MYSQL_USER'], + password=self.settings['MYSQL_PASSWORD'], + port=3306, + charset='utf8', + cursorclass=pymysql.cursors.DictCursor, + use_unicode=True + ) + self.cursor = self.db.cursor() + def parse(self, response): + lis=response.xpath('//*[@class="page_list"]//li') + for li in lis: + item=Shouyelianjie() + item['biaoti']=li.xpath('./a/@title').extract_first() + item['lianjie']=response.urljoin(li.xpath('./a/@href').extract_first()) + item['laiyuan']='山西省小企业促进局' + item['shijian']=li.xpath('./sapn/text()').extract_first() + if not self.settings.get("ISQUANPA"): + self.cursor.execute( + 'select count(title_url) as nums FROM t_policy where title_url ="{}"'.format(item['lianjie'])) + res = self.cursor.fetchall()[0].get('nums') + if res == 0: + yield scrapy.Request(url=item['lianjie'],meta={'item':item},callback=self.page_item) + else: + logging.info('这个链接已经爬过了-----：' + item['lianjie']) + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_item) + if self.settings.get("ISQUANPA"): + try: + next_page=response.xpath('//a[@class="next-page"]/@onclick').re('\'index.*') + if len(next_page)>0: + next_page[0]=next_page[0].strip('\'') + yield scrapy.Request(url='http://xqyj.shanxi.gov.cn/v2/html/tzgg/'+next_page[0],callback=self.parse) + except: + logging.info('全部爬取完毕') + def page_item(self,response): + item=response.meta['item'] + item['xiangqing']=response.xpath('//*[@class="doc_content"]').extract_first().replace('192.168.143.1','xqyj.shanxi.gov.cn') + self.tihuan_a_return(item, self.settings.get('FILE_PATH'), response) + self.tihuan_img_return(item, self.settings.get('MESSAGE'), response) + # if item.get('wenjian') is not None: + # for wenjians in item['wenjian'][:]: + # if '_' in wenjians['file_name']: + # self.cursor.execute( + # 'select count(file_url) as nums FROM t_policy_file_crawl where file_url ="{}"'.format(wenjians['file_url'])) + # res = self.cursor.fetchall()[0].get('nums') + # if res != 0: + # item['file_name'].remove(wenjians) + # logging.info(item) + yield item + def a_fun(self,href): + print() + def img_fun(self, src): + print() \ No newline at end of file diff --git a/demo1/spiders/shanxizonggaiquSpider.py b/demo1/spiders/shanxizonggaiquSpider.py new file mode 100644 index 0000000..fc97d53 --- /dev/null +++ b/demo1/spiders/shanxizonggaiquSpider.py @@ -0,0 +1,86 @@ +import scrapy +from uuid import uuid4 +import re +from demo1.custom_settings_conf import * +from demo1.items import Shouyelianjie +from scrapy.utils.project import get_project_settings +from scrapy.spiders import CrawlSpider, Rule +from scrapy.linkextractors import LinkExtractor +import pymysql +import logging +import json +import time +from lxml import etree +from urllib import parse +from demo1.Util import Util_WANG +#山西省综改示范区 +class sxszonggaishifanquSpider(scrapy.Spider,Util_WANG): + name = 'sxzonggaishifanquSpider' + settings = get_project_settings() + allowed_domains = ['zgq.shanxi.gov.cn'] + custom_settings = custom_settings_conf_sxzonggaishifanSpider + start_urls = ['https://zgq.shanxi.gov.cn/?pcyear=8-10'] + + def __init__(self, name=None, **kwargs): + self.db = pymysql.connect( + host=self.settings['MYSQL_HOST'], + database=self.settings['MYSQL_DATABASE'], + user=self.settings['MYSQL_USER'], + password=self.settings['MYSQL_PASSWORD'], + port=3306, + charset='utf8', + cursorclass=pymysql.cursors.DictCursor, + use_unicode=True + ) + self.cursor = self.db.cursor() + def parse(self, response): + alis=response.xpath('//div[@class="bszn"]/a') + for a_sign in alis: + item=Shouyelianjie() + item['shijian']=a_sign.xpath('.//font/text()').extract_first() + item['biaoti']=a_sign.xpath('.//span/text()').extract_first() + item['lianjie']=response.urljoin(a_sign.xpath('./@href').extract_first()) + item['laiyuan']='山西转型综合改革示范区管理委员会' + #ceshi + #item['lianjie']='https://zgq.shanxi.gov.cn/?pcyear=8-10&id=7203' + if not self.settings.get("ISQUANPA"): + self.cursor.execute( + 'select count(title_url) as nums FROM t_policy where title_url ="{}"'.format(item['lianjie'])) + res = self.cursor.fetchall()[0].get('nums') + if res == 0: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + else: + logging.info('这个链接已经爬过了-----：' + item['lianjie']) + else: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + if self.settings.get("ISQUANPA"): + try: + next_page=response.xpath('//div[@class="page"]//a[@href and contains(text(),">") and not(contains(text(),">>"))]/@href').extract_first() + if next_page is not None: + yield scrapy.Request(url=response.urljoin(next_page), callback=self.parse) + # if curry_page < count_page: + # urls = 'https://www.mct.gov.cn/whzx/ggtz/index_' + str(curry_page) + '.htm' + # yield scrapy.Request(url=urls, callback=self.parse) + else: + logging.info('最后一页了。。。。') + except Exception as e: + logging(e) + logging.info('因为异常：全部爬取完毕') + else: + logging.info('全部爬取完毕') + def page_url(self,response): + item=response.meta['item'] + item['xiangqing']=response.xpath('//*[@class="newscontent"]').extract_first() + self.tihuan_a_return(item, self.settings.get('FILE_PATH'), response) + self.tihuan_img_return(item, self.settings.get('MESSAGE'), response) + yield item + def a_fun(self,href): + pass + def img_fun(self, src): + pass \ No newline at end of file diff --git a/demo1/spiders/taiyuangongyehexinxihuajuSpider.py b/demo1/spiders/taiyuangongyehexinxihuajuSpider.py new file mode 100644 index 0000000..5c35725 --- /dev/null +++ b/demo1/spiders/taiyuangongyehexinxihuajuSpider.py @@ -0,0 +1,97 @@ +import scrapy +from uuid import uuid4 +import re +from demo1.custom_settings_conf import * +from demo1.items import Shouyelianjie +from scrapy.utils.project import get_project_settings +from scrapy.spiders import CrawlSpider, Rule +from scrapy.linkextractors import LinkExtractor +import pymysql +import logging +import json +import time +from lxml import etree +from urllib import parse +from demo1.Util import Util_WANG +#太原市工业和信息话局 +class taiyuangongyehexinxihuajuSpider(scrapy.Spider,Util_WANG): + name = 'taiyuangongyehexinxihuajuSpider' + settings = get_project_settings() + allowed_domains = ['jxw.taiyuan.gov.cn'] + custom_settings = custom_settings_conf_taiyuangongyehexinxihuajuSpider + start_urls = ['http://jxw.taiyuan.gov.cn/zfxxgk/gggs/index.shtml'] + + def __init__(self, name=None, **kwargs): + self.db = pymysql.connect( + host=self.settings['MYSQL_HOST'], + database=self.settings['MYSQL_DATABASE'], + user=self.settings['MYSQL_USER'], + password=self.settings['MYSQL_PASSWORD'], + port=3306, + charset='utf8', + cursorclass=pymysql.cursors.DictCursor, + use_unicode=True + ) + self.cursor = self.db.cursor() + def parse(self, response): + lis = response.xpath('//ul[@class="List_list"]/li') + for li in lis: + item = Shouyelianjie() + item['lianjie'] = response.urljoin(li.xpath('.//a/@href').extract_first()) + item['biaoti'] = li.xpath('.//a/@title').extract_first() + if item['biaoti'] is None: + item['biaoti'] = li.xpath('.//a/text()').extract_first() + item['shijian'] = li.xpath('.//span/text()').extract_first() + item['laiyuan'] = '太原市工业和信息化局' + # 测试用的 + #item['lianjie']='http://jxw.taiyuan.gov.cn/doc/2020/03/27/965251.shtml' + if not self.settings.get("ISQUANPA"): + self.cursor.execute( + 'select count(title_url) as nums FROM t_policy where title_url ="{}"'.format(item['lianjie'])) + res = self.cursor.fetchall()[0].get('nums') + if res == 0: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + else: + logging.info('这个链接已经爬过了-----：' + item['lianjie']) + else: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + if self.settings.get("ISQUANPA"): + try: + + nums = response.xpath('//*[@id="pages"]').re('{.*?pageIndex\":.*?pageCount\":.*?pageSize\":.*?}')[0] + nums = eval(nums) + pageIndex = int(nums['pageIndex']) + pageCount = int(nums['pageCount']) + next_page = pageIndex + 1 + # if curry_page < count_page: + # urls = 'https://www.mct.gov.cn/whzx/ggtz/index_' + str(curry_page) + '.htm' + # yield scrapy.Request(url=urls, callback=self.parse) + + if next_page <= pageCount: + ac='http://jxw.taiyuan.gov.cn/zfxxgk/gggs/index_' + str(next_page) + '.shtml' + yield scrapy.Request(url='http://jxw.taiyuan.gov.cn/zfxxgk/gggs/index_' + str(next_page) + '.shtml', + callback=self.parse) + else: + logging.info('全部爬完了') + except Exception as e: + logging(e) + logging.info('因为异常：全部爬取完毕') + else: + logging.info('全部爬取完毕') + + def page_url(self, response): + item = response.meta['item'] + item['xiangqing'] = response.xpath('//*[@id="Zoom"]').extract_first() + self.tihuan_a_return(item, self.settings.get('FILE_PATH'), response) + self.tihuan_img_return(item, self.settings.get('MESSAGE'), response) + yield item + def a_fun(self,href): + pass + def img_fun(self, src): + pass \ No newline at end of file diff --git a/demo1/spiders/taiyuanshangwujuSpider.py b/demo1/spiders/taiyuanshangwujuSpider.py new file mode 100644 index 0000000..fde2ed3 --- /dev/null +++ b/demo1/spiders/taiyuanshangwujuSpider.py @@ -0,0 +1,97 @@ +import scrapy +from uuid import uuid4 +import re +from demo1.custom_settings_conf import * +from demo1.items import Shouyelianjie +from scrapy.utils.project import get_project_settings +from scrapy.spiders import CrawlSpider, Rule +from scrapy.linkextractors import LinkExtractor +import pymysql +import logging +import json +import time +from lxml import etree +from urllib import parse +from demo1.Util import Util_WANG +#太原市商务局 +class taiyuangongshangwujuSpider(scrapy.Spider,Util_WANG): + name = 'taiyuangongshangwujuSpider' + settings = get_project_settings() + allowed_domains = ['sswj.taiyuan.gov.cn'] + custom_settings = custom_settings_conf_taiyuanshangwujuSpider + start_urls = ['http://sswj.taiyuan.gov.cn/zfxxgk/tzgg/index.shtml'] + + def __init__(self, name=None, **kwargs): + self.db = pymysql.connect( + host=self.settings['MYSQL_HOST'], + database=self.settings['MYSQL_DATABASE'], + user=self.settings['MYSQL_USER'], + password=self.settings['MYSQL_PASSWORD'], + port=3306, + charset='utf8', + cursorclass=pymysql.cursors.DictCursor, + use_unicode=True + ) + self.cursor = self.db.cursor() + def parse(self, response): + lis = response.xpath('//ul[@class="List_list"]/li') + for li in lis: + item = Shouyelianjie() + item['lianjie'] = response.urljoin(li.xpath('.//a/@href').extract_first()) + item['biaoti'] = li.xpath('.//a/@title').extract_first() + if item['biaoti'] is None: + item['biaoti'] = li.xpath('.//a/text()').extract_first() + item['shijian'] = li.xpath('.//span/text()').extract_first() + item['laiyuan'] = '太原市商务局' + # 测试用的 + #item['lianjie']='http://jxw.taiyuan.gov.cn/doc/2020/03/27/965251.shtml' + if not self.settings.get("ISQUANPA"): + self.cursor.execute( + 'select count(title_url) as nums FROM t_policy where title_url ="{}"'.format(item['lianjie'])) + res = self.cursor.fetchall()[0].get('nums') + if res == 0: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + else: + logging.info('这个链接已经爬过了-----：' + item['lianjie']) + else: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + if self.settings.get("ISQUANPA"): + try: + + nums = response.xpath('//*[@id="pages"]').re('{.*?pageIndex\":.*?pageCount\":.*?pageSize\":.*?}')[0] + nums = eval(nums) + pageIndex = int(nums['pageIndex']) + pageCount = int(nums['pageCount']) + next_page = pageIndex + 1 + # if curry_page < count_page: + # urls = 'https://www.mct.gov.cn/whzx/ggtz/index_' + str(curry_page) + '.htm' + # yield scrapy.Request(url=urls, callback=self.parse) + + if next_page <= pageCount: + ac='http://sswj.taiyuan.gov.cn/zfxxgk/tzgg/index_' + str(next_page) + '.shtml' + yield scrapy.Request(url='http://sswj.taiyuan.gov.cn/zfxxgk/tzgg/index_' + str(next_page) + '.shtml', + callback=self.parse) + else: + logging.info('全部爬完了') + except Exception as e: + logging(e) + logging.info('因为异常：全部爬取完毕') + else: + logging.info('全部爬取完毕') + + def page_url(self, response): + item = response.meta['item'] + item['xiangqing'] = response.xpath('//*[@id="Zoom"]').extract_first() + self.tihuan_a_return(item, self.settings.get('FILE_PATH'), response) + self.tihuan_img_return(item, self.settings.get('MESSAGE'), response) + yield item + def a_fun(self,href): + pass + def img_fun(self, src): + pass \ No newline at end of file diff --git a/demo1/spiders/taiyuanshikexujishujuSpider.py b/demo1/spiders/taiyuanshikexujishujuSpider.py new file mode 100644 index 0000000..1b39dc6 --- /dev/null +++ b/demo1/spiders/taiyuanshikexujishujuSpider.py @@ -0,0 +1,92 @@ +import scrapy +from uuid import uuid4 +import re +from demo1.custom_settings_conf import * +from demo1.items import Shouyelianjie +from scrapy.utils.project import get_project_settings +from scrapy.spiders import CrawlSpider, Rule +from scrapy.linkextractors import LinkExtractor +import pymysql +import logging +import json +import time +from lxml import etree +from urllib import parse +from demo1.Util import Util_WANG +#太原市科学技术局 +class taiyuankexuejishujuSpider(scrapy.Spider,Util_WANG): + name = 'taiyuankexuejishujuSpider' + settings = get_project_settings() + allowed_domains = ['kjj.taiyuan.gov.cn'] + custom_settings = custom_settings_conf_taiyuankexuejishujuSpider + start_urls = ['http://kjj.taiyuan.gov.cn/zfxxgk/gggs/index.shtml'] + + def __init__(self, name=None, **kwargs): + self.db = pymysql.connect( + host=self.settings['MYSQL_HOST'], + database=self.settings['MYSQL_DATABASE'], + user=self.settings['MYSQL_USER'], + password=self.settings['MYSQL_PASSWORD'], + port=3306, + charset='utf8', + cursorclass=pymysql.cursors.DictCursor, + use_unicode=True + ) + self.cursor = self.db.cursor() + def parse(self, response): + lis=response.xpath('//ul[@class="List_list"]/li') + for li in lis: + item=Shouyelianjie() + item['lianjie']=response.urljoin(li.xpath('.//a/@href').extract_first()) + item['biaoti']=li.xpath('.//a/text()').extract_first() + item['shijian']=li.xpath('.//span/text()').extract_first() + item['laiyuan']='太原市科学技术局' + #测试用的 + #item['lianjie']='http://kjj.taiyuan.gov.cn/doc/2018/04/16/390076.shtml' + if not self.settings.get("ISQUANPA"): + self.cursor.execute( + 'select count(title_url) as nums FROM t_policy where title_url ="{}"'.format(item['lianjie'])) + res = self.cursor.fetchall()[0].get('nums') + if res == 0: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + else: + logging.info('这个链接已经爬过了-----：' + item['lianjie']) + else: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + if self.settings.get("ISQUANPA"): + try: + + nums=response.xpath('//*[@id="pages"]').re('{.*?pageIndex\":.*?pageCount\":.*?pageSize\":.*?}')[0] + nums=eval(nums) + pageIndex=int(nums['pageIndex']) + pageCount=int(nums['pageCount']) + next_page=pageIndex+1 + # if curry_page < count_page: + # urls = 'https://www.mct.gov.cn/whzx/ggtz/index_' + str(curry_page) + '.htm' + # yield scrapy.Request(url=urls, callback=self.parse) + + if next_page <= pageCount: + yield scrapy.Request(url='http://kjj.taiyuan.gov.cn/zfxxgk/gggs/index_'+str(next_page)+'.shtml', callback=self.parse) + else: + logging.info('全部爬完了') + except Exception as e: + logging(e) + logging.info('因为异常：全部爬取完毕') + else: + logging.info('全部爬取完毕') + def page_url(self,response): + item=response.meta['item'] + item['xiangqing']=response.xpath('//*[@id="Zoom"]').extract_first() + self.tihuan_a_return(item, self.settings.get('FILE_PATH'), response) + self.tihuan_img_return(item, self.settings.get('MESSAGE'), response) + yield item + def a_fun(self,href): + pass + def img_fun(self, src): + pass \ No newline at end of file diff --git a/demo1/spiders/wenhuahelvyoubuSpider.py b/demo1/spiders/wenhuahelvyoubuSpider.py new file mode 100644 index 0000000..a8a9818 --- /dev/null +++ b/demo1/spiders/wenhuahelvyoubuSpider.py @@ -0,0 +1,86 @@ +import scrapy +from uuid import uuid4 +import re +from demo1.custom_settings_conf import * +from demo1.items import Shouyelianjie +from scrapy.utils.project import get_project_settings +from scrapy.spiders import CrawlSpider, Rule +from scrapy.linkextractors import LinkExtractor +import pymysql +import logging +import json +import time +from lxml import etree +from urllib import parse +from demo1.Util import Util_WANG +class wenhuahelvyoubuSpider(scrapy.Spider,Util_WANG): + name='wenhuahelvyoubuSpider' + settings = get_project_settings() + allowed_domains = ['mct.gov.cn'] + custom_settings = custom_settings_conf_wenhuahelvyoubu + start_urls=['https://www.mct.gov.cn/whzx/ggtz/index.htm'] + def __init__(self, name=None, **kwargs): + self.db = pymysql.connect( + host=self.settings['MYSQL_HOST'], + database=self.settings['MYSQL_DATABASE'], + user=self.settings['MYSQL_USER'], + password=self.settings['MYSQL_PASSWORD'], + port=3306, + charset='utf8', + cursorclass=pymysql.cursors.DictCursor, + use_unicode=True + ) + self.cursor = self.db.cursor() + def parse(self, response): + trs=response.css('table tr') + for tr in trs: + item=Shouyelianjie() + item['lianjie']=tr.css('td a::attr(href)').extract_first() + item['biaoti']=tr.css('td a::text').extract_first() + item['shijian']=tr.css('td[class$="time"]::text').extract_first() + item['laiyuan']='文化和旅游部' + if not self.settings.get("ISQUANPA"): + self.cursor.execute( + 'select count(title_url) as nums FROM t_policy where title_url ="{}"'.format(item['lianjie'])) + res = self.cursor.fetchall()[0].get('nums') + if res == 0: + if Util_WANG.pos_url(item,self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + else: + logging.info('这个链接已经爬过了-----：' + item['lianjie']) + else: + if Util_WANG.pos_url(item, self.settings): + yield item + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + if self.settings.get("ISQUANPA"): + try: + next_page = ts=response.xpath('//body//*[contains(text(),"createPageHTML")]').re('\d{1,2}.*?,.*?\d{1,2}')[0].split(',') + count_page = int(next_page[0].strip()) + curry_page = int(next_page[-1].strip()) + 1 + if curry_page < count_page: + urls = 'https://www.mct.gov.cn/whzx/ggtz/index_' + str(curry_page) + '.htm' + yield scrapy.Request(url=urls, callback=self.parse) + except Exception as e: + logging(e) + logging.info('因为异常：全部爬取完毕') + else: + logging.info('全部爬取完毕') + + # 测试页面的直接 + # urls='http://zwgk.mcprc.gov.cn/auto255/201612/t20161206_30535.html' + # yield scrapy.Request(url=urls,callback=self.page_url,meta={'item':Shouyelianjie()}) + def page_url(self,response): + item=response.meta['item'] + item['xiangqing']=response.css('#ContentRegion').extract_first() + if item['xiangqing'] is None: + item['xiangqing']=response.css('#zoom').extract_first() + self.tihuan_a_return(item, self.settings.get('FILE_PATH'), response) + self.tihuan_img_return(item, self.settings.get('MESSAGE'), response) + yield item + def a_fun(self,href): + pass + def img_fun(self, src): + pass \ No newline at end of file diff --git a/demo1/spiders/zhongxiaoqiyejuSpider.py b/demo1/spiders/zhongxiaoqiyejuSpider.py new file mode 100644 index 0000000..bb1a81a --- /dev/null +++ b/demo1/spiders/zhongxiaoqiyejuSpider.py @@ -0,0 +1,75 @@ +import scrapy +from uuid import uuid4 +import re +from scrapy.spiders import CrawlSpider +from demo1.custom_settings_conf import * +from demo1.items import Shouyelianjie +from scrapy.utils.project import get_project_settings +import pymysql +import logging +import json +import time +from urllib import parse +from demo1.Util import Util_WANG +class zhongxiaoqiyejuSpider(scrapy.Spider,Util_WANG): + name = 'zhongxiaoqiyejuSpider' + settings = get_project_settings() + allowed_domains = ['miit.gov.cn'] + custom_settings = custom_settings_conf_zhongxiaoqiyezongju + start_urls=['http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057527/n3057529/index.html'] + def __init__(self, name=None, **kwargs): + self.db = pymysql.connect( + host=self.settings['MYSQL_HOST'], + database=self.settings['MYSQL_DATABASE'], + user=self.settings['MYSQL_USER'], + password=self.settings['MYSQL_PASSWORD'], + port=3306, + charset='utf8', + cursorclass=pymysql.cursors.DictCursor, + use_unicode=True + ) + self.cursor = self.db.cursor() + def parse(self, response): + lis=response.xpath('//*[@class="clist_con"]//li') + for li in lis: + item=Shouyelianjie() + item['biaoti']=li.xpath('./a/text()').extract_first() + item['lianjie'] =response.urljoin(li.xpath('./a/@href').extract_first()) + item['laiyuan']='中小企业局' + item['shijian']=li.xpath('.//span//a/text()').extract_first() + if not self.settings.get("ISQUANPA"): + self.cursor.execute( + 'select count(title_url) as nums FROM t_policy where title_url ="{}"'.format(item['lianjie'])) + res = self.cursor.fetchall()[0].get('nums') + if res == 0: + yield scrapy.Request(url=item['lianjie'],meta={'item':item},callback=self.parse_item) + else: + logging.info('这个链接已经爬过了-----：' + item['lianjie']) + else: + yield scrapy.Request(url=item['lianjie'],meta={'item':item},callback=self.parse_item) + if self.settings.get("ISQUANPA"): + hrefs = response.xpath('//a[contains(@href,"index_") and contains(@href,"../") and contains(@href,".html")]/@href').extract() + for href in hrefs: + new_href=response.urljoin(href) + yield scrapy.Request(new_href,callback=self.parse_url) + + def parse_url(self,response): + lis=response.xpath('//*[@class="clist_con"]//li') + for li in lis: + item=Shouyelianjie() + item['shijian']=li.xpath('./span/a/text()').extract_first() + item['laiyuan']='中小企业局' + item['lianjie']=response.urljoin(li.xpath('./a/@href').extract_first()) + item['biaoti']=li.xpath('./a/text()').extract_first() + yield scrapy.Request(url=item['lianjie'],callback=self.parse_item,meta={'item':item}) + def parse_item(self,response): + item=response.meta['item'] + item['xiangqing']=response.xpath('//*[contains(@id,"con_con") and contains(@class,"center")]').extract_first() + self.tihuan_a_return(item, self.settings.get('FILE_PATH'), response) + self.tihuan_img_return(item, self.settings.get('MESSAGE'), response) + yield item + def a_fun(self,href): + pass + def img_fun(self, src): + pass + diff --git a/demo1/spiders/ziranweiyuanhuiSpider.py b/demo1/spiders/ziranweiyuanhuiSpider.py new file mode 100644 index 0000000..7fec47c --- /dev/null +++ b/demo1/spiders/ziranweiyuanhuiSpider.py @@ -0,0 +1,73 @@ +import scrapy +from uuid import uuid4 +import re +from scrapy.spiders import CrawlSpider +from demo1.custom_settings_conf import * +from demo1.items import Shouyelianjie +from scrapy.utils.project import get_project_settings +import pymysql +import logging +import json +import time +from lxml import etree +from urllib import parse +from demo1.Util import Util_WANG +class ziranweiyuanhuiSpider(scrapy.Spider,Util_WANG): + name = 'ziranweiyuanhuiSpider' + settings = get_project_settings() + allowed_domains = ['nsfc.gov.cn'] + custom_settings = custom_settings_conf_ziranweiyuanhui + def __init__(self, name=None, **kwargs): + self.db = pymysql.connect( + host=self.settings['MYSQL_HOST'], + database=self.settings['MYSQL_DATABASE'], + user=self.settings['MYSQL_USER'], + password=self.settings['MYSQL_PASSWORD'], + port=3306, + charset='utf8', + cursorclass=pymysql.cursors.DictCursor, + use_unicode=True + ) + self.cursor = self.db.cursor() + def start_requests(self): + yield scrapy.Request(url=self.return_start_url(),callback=self.parse) + + #ceshixianye + #yield scrapy.Request(url='http://www.nsfc.gov.cn/publish/portal0/tab442/info76617.htm',callback=self.page_url,meta={'item':Shouyelianjie()}) + def return_start_url(self,page=1): + return 'http://www.nsfc.gov.cn/publish/portal0/tab442/module1178/page'+str(page)+'.htm' + def parse(self, response): + news=response.xpath('//*[@class="clearfix"]') + for news_list in news: + item=Shouyelianjie() + item['lianjie']='http://www.nsfc.gov.cn'+news_list.xpath('.//*[@class="fl"]/a/@href').extract_first() + item['laiyuan']='国家自然科学基金委员会' + item['shijian']=news_list.xpath('.//*[@class="fr"]/text()').extract_first() + item['biaoti']=news_list.xpath('.//a/text()').extract_first() + if not self.settings.get("ISQUANPA"): + self.cursor.execute( + 'select count(title_url) as nums FROM t_policy where title_url ="{}"'.format(item['lianjie'])) + res = self.cursor.fetchall()[0].get('nums') + if res == 0: + yield scrapy.Request(url=item['lianjie'],meta={'item':item},callback=self.page_url) + else: + logging.info('这个链接已经爬过了-----：' + item['lianjie']) + else: + yield scrapy.Request(url=item['lianjie'], meta={'item': item}, callback=self.page_url) + if self.settings.get("ISQUANPA"): + try: + next_page='http://www.nsfc.gov.cn'+response.xpath('//a[@class="Normal"]')[-2].xpath('@href').extract_first() + yield scrapy.Request(url=next_page,callback=self.parse) + except: + logging.info('全部爬取完毕') + def page_url(self,response): + item=response.meta['item'] + txt=response.xpath('//*[@class="content_xilan"]').extract_first() + item['xiangqing']=txt.replace('\u3000','') + self.tihuan_a_return(item,self.settings.get('FILE_PATH')) + self.tihuan_img_return(item,self.settings.get('MESSAGE')) + yield item + def a_fun(self,href): + return 'http://www.nsfc.gov.cn'+href + def img_fun(self, src): + return 'http://www.nsfc.gov.cn'+src \ No newline at end of file diff --git a/noall_demo1.egg b/noall_demo1.egg deleted file mode 100644 index 3f94498..0000000 Binary files a/noall_demo1.egg and /dev/null differ diff --git a/scrapy.cfg b/scrapy.cfg index 2b95d99..e120e61 100644 --- a/scrapy.cfg +++ b/scrapy.cfg @@ -1,7 +1,7 @@ # Automatically created by: scrapy startproject # # For more information about the [deploy] section see: -# https://scrapyd.readthedocs.io/en/latest/deploy.html +# [settings] default = demo1.settings @@ -9,3 +9,4 @@ default = demo1.settings [deploy:demo1] url = http://49.232.6.143:6800/ project = chacewang +#https://scrapyd.readthedocs.io/en/latest/deploy.html \ No newline at end of file