pyspider检测new_task队列

问题描述

问 题

self._postpone_request = []

def _check_request(self):
    '''Check new task queue'''
    # check _postpone_request first
    todo = []
    for task in self._postpone_request:
        if task['project'] not in self.projects:
            continue
        if self.projects[task['project']].task_queue.is_processing(task['taskid']):
            todo.append(task)
        else:
            self.on_request(task)
    self._postpone_request = todo

    tasks = {}
    
    while len(tasks) < self.LOOP_LIMIT:
        try:
            task = self.newtask_queue.get_nowait()
        except Queue.Empty:
            break
        
        if isinstance(task, list):
            _tasks = task
        else:
            _tasks = (task, )

        for task in _tasks:
            #注：task_verity()是检测传入的task是否缺少某些必要字段，task为一个dict
            if not self.task_verify(task):     #注：这个continue貌似无关痛痒，为什么要这么做，是正确与否都不影响么？
                continue

            if task['taskid'] in self.projects[task['project']].task_queue:
                if not task.get('schedule', {}).get('force_update', False):
                    logger.debug('ignore newtask %(project)s:%(taskid)s %(url)s', task)
                    continue

            if task['taskid'] in tasks:
                if not task.get('schedule', {}).get('force_update', False):
                    continue

            tasks[task['taskid']] = task

    for task in itervalues(tasks):
        self.on_request(task)

    return len(tasks)

我想求教下大家这里面的for task in _tasks: 下的第一个continue，是无论task检测正确与否都跳到下步么？
还有类似的接下来的两个if 和 continue，貌似都不会对结果产生什么不一样的结果，难道只是为了打个log？

我的意思大概没表达清楚，举个例子：

def A(var):
    if var is not None:
        continue
    if type(var) is not int:
        continue
    ......
    return "i am a!"

在函数A中，做了几次实参的判断，但判断结果不会影响其返回（即无论参数是不是我们想要的，都执行下一步），我们作这些判断有什么用呢？我能想到的是在判断的时候加上一个打log的操作，如：

def A(var):
    if var is not None:
        continue
    if type(var) is not int:
        logger.error('%s is not int', str(var))
        continue
    ......
    return "i am a!"

解决方案

continue 是作用于 for 循环的，作用是跳过当前 item，continue 处理下一个

在第一个例子中，用于参数检测，防止输入错误时，后续代码产生异常（检测失败时后续代码被跳过了）
你的两个例子是不合法的。

这篇关于pyspider检测new_task队列的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！