[硕士论文] 垂直搜索引擎的设计与实现
西北工业大学硕士学位论文第三章Web搜集器[14]
[15]reorder_queue(url—queue)reorder_queue(topic_url_queue)
功能说明:
enqueue(queue,element):将元素element添加到队列queue的尾部;
dequeue(queue):删除队列queue的第一个元素并将其返回;
dequeue2(queuel,queue2):如果队列queuel不空,执行dequeue(queuel),否则执行dequeue(queue2);
classifier(anchorandsurroundingandurltextofu):用分类器分析链接u的元数据,计算其与特定主题的相关性权值,如果权值大于设定的门槛值C,
那么认为链接u主题相关,否则不相关;reorder_queue(queue):根据链接的权值重新排列queue。
3.2主要类、接口与数据库设计
表3-1Crawler的状态
CLEARED
PAUSED
RUNNING
STOPPEDCrawler处于消除状态Crawler处于暂停状态Crawler处于运行状态Crawler处于停止状态
图3-1Crawler状态转化图16