61阅读

织梦采集规则-织梦常用采集规则

发布时间:2017-08-04 所属栏目:织梦采集规则

一 : 织梦常用采集规则

织梦cms自带的采集系统确实很不错,可以免去一些手工添加信息的麻

烦,设置一下dede采集规则、采集点,然后点采集,OK,一下子就可以

搞定!确实很省事的!下面介绍几种常用采集规则的过滤方法:

copyright

应用示例一:来源作者中连接的过滤

在采集文章的时候,有的网站系统里面作者或者来源处都带有连接,

直接采集的话将连接采集回来了,然后由于这两个字段有限制,通常会

造成需要采集的内容没有采集回来,所以需要在过滤处添加下面正则过

滤。

1,如果要保留dedecms链接中的文字:

{dede:trim}<a([^>]*)>{/dede:trim}

{dede:trim}</a>{/dede:trim} copyright

2,如果去掉链接中的文字:

{dede:trim}<a ([^>]*)>([^<]*)</a>{/dede:trim}

应用示例二:织梦cms模板过滤标题空格

经常在采集文章的时候,标题文字里面有空格,采回来后应用很是麻

烦,所以需要在标题处过滤处添加下面正则过滤

{dede:trim} {/dede:trim} 中间有一空格

应用示例三:过滤GG广告代码

其实这个就是在上面的内容过滤,但是很多论坛里的网友经常问这个

,所以单独作为一个应用列出来:

{dede:trim}<script([^>]*)>([^>]*)</script>{/dede:trim}

下面是在综合论坛上网友的各种正则的一个dedecms规则过滤全集:

{dede:trim}<param([^>]*)>{/dede:trim}

{dede:trim}<embed([^>]*)>([^>]*)</embed>{/dede:trim} {dede:trim}<embed([^>]*)>{/dede:trim}

{dede:trim}</embed>{/dede:trim}

{dede:trim}<object([^>]*)>([^>]*)</object>{/dede:trim} {dede:trim}<object([^>]*)>{/dede:trim}

{dede:trim}</object>{/dede:trim}

{dede:trim}<OBJECT([^>]*)>([^>]*)</OBJECT>{/dede:trim} {dede:trim}<OBJECT([^>]*)>{/dede:trim}

{dede:trim}</OBJECT>{/dede:trim}

{dede:trim}<iframe([^>]*)>([^>]*)</iframe>{/dede:trim} {dede:trim}<iframe([^>]*)>{/dede:trim}

{dede:trim}</iframe>{/dede:trim}

{dede:trim}<IFRAME([^>]*)>([^>]*)</IFRAME>{/dede:trim} {dede:trim}<IFRAME([^>]*)>{/dede:trim}

{dede:trim}</IFRAME>{/dede:trim}

{dede:trim}<font([^>]*)>([^<]*)</font>{/dede:trim}

{dede:trim}<font([^>]*)>{/dede:trim}

{dede:trim}</font>{/dede:trim}

{dede:trim}<a([^>]*)>([^<]*)</a>{/dede:trim}

{dede:trim}<a([^>]*)>{/dede:trim}

{dede:trim}</a>{/dede:trim}

{dede:trim}<td([^>]*)>([^>]*)</td>{/dede:trim}

{dede:trim}<td([^>]*)>{/dede:trim}

{dede:trim}</td>{/dede:trim}

{dede:trim}<tr([^>]*)>([^>]*)</tr>{/dede:trim}

{dede:trim}<tr([^>]*)>{/dede:trim}

{dede:trim}</tr>{/dede:trim}

{dede:trim}<tbody([^>]*)>([^>]*)</tbody>{/dede:trim} {dede:trim}<tbody>{/dede:trim}

{dede:trim}</tbody>{/dede:trim}

{dede:trim}<table([^>]*)>([^>]*)</table>{/dede:trim} {dede:trim}<table([^>]*)>{/dede:trim}

{dede:trim}</table>{/dede:trim}

{dede:trim}<img([^>]*)>{/dede:trim}

{dede:trim}<span([^>]*)>{/dede:trim}

{dede:trim}</span>{/dede:trim}

{dede:trim} {/dede:trim}

{dede:trim}<stong>{/dede:trim}

{dede:trim}</stong>{/dede:trim}

应用示例四:文章内容中连接以及其他广告代码的过滤

这个就不用说了,当需要对所有东西过滤的时候,直接用上面所有的

代码过滤就可以,但是实际应用中,我们只需要对连接、动画、调用等

进行过滤。(这个需要按照对方内容里面具体含有什么代码来具体操作

一般的只有链接,使用二中的代码进行过滤就可以了,但是实际上一

般的网站现在都在内容里面加有广告等,所以采取下面的过滤正则就可

以完成过滤:

{dede:trim}<a([^>]*)>([^<]*)</a>{/dede:trim}

{dede:trim}<IFRAME([^>]*)>([^>]*)</IFRAME>{/dede:trim} {dede:trim}<object([^>]*)>([^>]*)</object>{/dede:trim}

{dede:trim}<script([^>]*)>([^>]*)</script>{/dede:trim} 织梦

模板

过滤div可以用

{dede:trim}]*)>{/dede:trim}

{dede:trim}

{/dede:trim}

过滤js用下面这个

{dede:trim}]*)>([^<]*){/dede:trim}

过滤未知变量字符

固定(.*)固定

上面几种应用基本上涵盖了采集的各种应用,掌握了这个,过滤基本上

就不用求人了!下面来说一个更简单的方法,把下面的过滤规则复制到

你那里去,几乎就可以处理所有的问题了,当然也可以自己分析一下。 {dede:trim}<span(.*)>{/dede:trim}

{dede:trim}</span>{/dede:trim}

{dede:trim}<div(.*)>{/dede:trim}

{dede:trim}</div>{/dede:trim}

{dede:trim}<li>{/dede:trim}

{dede:trim}</li>{/dede:trim}

{dede:trim}<ul>{/dede:trim}

{dede:trim}</ul>{/dede:trim}

{dede:trim}<font(.*)>{/dede:trim}

{dede:trim}</font>{/dede:trim}

{dede:trim}<table(.*)>{/dede:trim}

{dede:trim}</table>{/dede:trim}

{dede:trim}<tbody(.*)>{/dede:trim}

{dede:trim}</tbody>{/dede:trim}

{dede:trim}<tr(.*)>{/dede:trim}

{dede:trim}</tr>{/dede:trim}

{dede:trim}<td(.*)>{/dede:trim}

{dede:trim}</td>{/dede:trim}

{dede:trim}<a(.*)>{/dede:trim}

{dede:trim}</a>{/dede:trim}

{dede:trim}<iframe(.*)</iframe>{/dede:trim}

{dede:trim}<style(.*)</style>{/dede:trim}

{dede:trim}<script(.*)</script>{/dede:trim}

{dede:trim}<option(.*)</option>{/dede:trim}

{dede:trim}<select(.*)</select>{/dede:trim}

{dede:trim}<embed(.*)>{/dede:trim}

{dede:trim}</embed>{/dede:trim}

{dede:trim}<param(.*)</param>{/dede:trim}

{dede:trim}<object(.*)</object>{/dede:trim}

二 : 青帝文学关关采集规则

?<?xml version="1.0"?><RuleConfigInfo xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema"><RuleVersion><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern>本规则由唯小说小说阅读提供,唯小说网址:www.yesxs.com/</Pattern><RegexName>RuleVersion</RegexName></RuleVersion><RuleID><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern>9</Pattern><RegexName>RuleID</RegexName></RuleID><GetSiteName><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern>青帝文学网</Pattern><RegexName>GetSiteName</RegexName></GetSiteName><GetSiteCharset><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern>gbk</Pattern><RegexName>GetSiteCharset</RegexName></GetSiteCharset><GetSiteUrl><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern /><RegexName>GetSiteUrl</RegexName></GetSiteUrl><NovelSearchUrl><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern>http://www.qingdi.com/</Pattern><RegexName>NovelSearchUrl</RegexName></NovelSearchUrl><NovelSearchData><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern /><RegexName>NovelSearchData</RegexName></NovelSearchData><NovelSearch_GetNovelKey><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern /><RegexName>NovelSearch_GetNovelKey</RegexName></NovelSearch_GetNovelKey><NovelListUrl><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern></Pattern><RegexName>NovelListUrl</RegexName></NovelListUrl><NovelList_GetNovelKey><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern><td class="tdLeft"><a href="">(.+?)</a></td></Pattern><RegexName>NovelList_GetNovelKey</RegexName></NovelList_GetNovelKey><NovelUrl><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern></Pattern><RegexName>NovelUrl</RegexName></NovelUrl><NovelErr><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern>对不起,该文章不存在!</Pattern><RegexName>NovelErr</RegexName></NovelErr><NovelName><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern><h1>(.+?)&nbsp;&nbsp;<b style="</Pattern><RegexName>NovelName</RegexName></NovelName><NovelAuthor><FilterPattern /><Method>Match</Method><Options>None</Options>

青帝 小说网 青帝文学关关采集规则

<Pattern>font-size:12px;">作者:(.+?)</b></Pattern><RegexName>NovelAuthor</RegexName></NovelAuthor><LagerSort><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern><strong>(.+?)</strong></Pattern><RegexName>LagerSort</RegexName></LagerSort><SmallSort><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern><strong>(.+?)</strong></Pattern><RegexName>SmallSort</RegexName></SmallSort><NovelIntro><FilterPattern></dd></dl></div></FilterPattern><Method>Match</Method><Options>Singleline</Options><Pattern><dd id="wrap">((.|\n)+?)<div class="c"></div></Pattern><RegexName>NovelIntro</RegexName></NovelIntro><NovelKeyword><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern>font-size:12px;">作者:(.+?)</b></Pattern><RegexName>NovelKeyword</RegexName></NovelKeyword><NovelDegree><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern>目前<strong>(.+?)</strong><br/></Pattern><RegexName>NovelDegree</RegexName></NovelDegree><NovelCover><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern><img class="articleInfoPic" src="(.+?)" width="100" height="125" alt=".+?:.+?" title=".+?:.+?" /></Pattern><RegexName>NovelCover</RegexName></NovelCover><NovelDefaultCoverUrl><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern /><RegexName>NovelDefaultCoverUrl</RegexName></NovelDefaultCoverUrl><NovelInfo_GetNovelPubKey><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern><a href="(.+?)" class="reader" target="_blank">点击阅读</a></Pattern><RegexName>NovelInfo_GetNovelPubKey</RegexName></NovelInfo_GetNovelPubKey><PubCookies><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern /><RegexName>PubCookies</RegexName></PubCookies><PubIndexUrl><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern>{NovelPubKey}</Pattern><RegexName>PubIndexUrl</RegexName></PubIndexUrl><PubIndexErr><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern>对不起,该文章不存在!</Pattern><RegexName>PubIndexErr</RegexName></PubIndexErr><PubVolumeContent><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern /><RegexName>PubVolumeContent</RegexName></PubVolumeContent><PubVolumeSplit><FilterPattern /><Method>Spilt</Method><Options>None</Options><Pattern><td colspan="4" class=</Pattern><RegexName>P

青帝 小说网 青帝文学关关采集规则

ubVolumeSplit</RegexName></PubVolumeSplit><PubVolumeName><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern>"vcss">\s*(.+?)\s*</td></Pattern><RegexName>PubVolumeName</RegexName></PubVolumeName><PubChapterName><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern><a href="\d*.html">(.+?)</a></Pattern><RegexName>PubChapterName</RegexName></PubChapterName><PubChapter_GetChapterKey><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern><a href="(\d*.html)">(.+?)</a></Pattern><RegexName>PubChapter_GetChapterKey</RegexName></PubChapter_GetChapterKey><PubContentUrl><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern>{ChapterKey}</Pattern><RegexName>PubContentUrl</RegexName></PubContentUrl><PubContentErr><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern>这里必须填写</Pattern><RegexName>PubContentErr</RegexName></PubContentErr><PubContent_GetTextKey><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern /><RegexName>PubContent_GetTextKey</RegexName></PubContent_GetTextKey><PubTextUrl><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern /><RegexName>PubTextUrl</RegexName></PubTextUrl><PubContentText><FilterPattern>更多精彩小说最新章节TXT下载尽在青帝文学网,本站地址:www.qingdi.com更多精彩小说最新章节TXT下载尽在青帝文学网,本站地址:<a href=".+?" target="_blank">.+?</a></div></div>收藏\【青帝文学网\】<a href=".+?" target="_blank">.+?</a>,为您提供精彩小说阅读。[www.61k.com)<br /><a href=".+?">收藏\【青帝文学网\】www.qingdi.com,为您提供精彩小说阅读。\【.+?\】收藏www.qingdi.com,</FilterPattern><Method>Match</Method><Options>Singleline</Options><Pattern><div id="content">((.|\n)+?)<div class="readerFooterNav"</Pattern><RegexName>PubContentText</RegexName></PubContentText><PubContentReplace><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern><img src="http://www.feiku.com/images/di.gif" />♂地</Pattern><RegexName>PubContentReplace</RegexName></PubContentReplace><PubContentImages><FilterPattern /><Method>Match</Method><Options>None</Options><Pattern><[^<]*((?<=<(?:img|IMG)[^>]*(?:(?:src|SRC)(?:\s*=\s*(?:["']?))))(?:[^\s"'>]*)\.(?:jpg|gif|jpeg|bmp|png|GIF|JPG))[^>]*></Pattern><RegexName>PubContentImages</RegexName></PubContentImages></RuleConfigInfo>

三 : 芭奇:不用编写采集规则也可轻松采集网站

一直以来,大家都在用各种类型采集器或网站程序自带的采集功能,它们有一个共同的特点,就是要写采集规则才可以采集到文章,这个技术性的问题,对新手站升可不是一件容易的事,对老站长,它也是一个费力的工作。那么,如果做站群的话,每个站都要定义一个采集规则的话,那就真是苦不堪言。有人说,站长是一个网络搬运工。这话说得也是有道理的。互联网上的文章,很多都是你搬我的,我搬你的,为了生活,不得不如何做下去。现在芭奇站群软件新出一个新的新型采集功能,能大大减轻站长的“搬运工”的时间,也不用再写烦人的采集规则了,这个功能就是互联网首创的功能---指定网址采集。下面我教大家如何使用这个功能:

一、首先打开这个功能。在网站右健可以看到这个功能:如下图。

二、打开后的功能如下,可以在右边填写指定采集的列表地址:

这里我以百度的搜索页为采集源,比如这个地址:http://news.baidu.com/ns?cl=2&rn=20&tn=news&word=%B0%C5%C6%E6

然后我利用芭奇站群软件来采集这个搜索结果的所有文章。大家先可以分析一下,这个页面,如果用各种类型采集器或网站自带程序来自定义采集所有文章,那是不可能采到的。因为互联网还没有这样的通用采集不同网站的功能,但现在,芭奇站群软件可以实现了。因为这个软件支持泛采集技术。

三、首页,我填上这个百度结果列表到软件的“起始采集的文章列表地址”上,如下图:

四、为了能正确采集我想要的列表,我们分析结果列表上的文章,都有一个通用的后缀后,就是:html、shtml、htm,那么,这三个共同的地方就是:htm我定义到软件,这样的做法,是减少采集没用的页面,如下图:

五、现在可以采集了,不过,在这里提示一下大家,一般一个网站里面,带相同字符的会有很多,对于这个百度列表的,也有百度自身的网页,但百度自身的网页内容,不是我要采的,那么还有一个地方可以排除不采带有百度网址的页面。如下图所示:

这样定义后,就避免采到百度自己的页面了。那这样填好了,就可以直接采集文章了,点“保存后采集数据”:

一两分钟后,采集过程结果如下图所示:

六、这里我就只采一部份文章,先停止不再采了,那现在看看采集后的内容:

七、上面就是采集的过程,按上面的步骤,你也可以采集其他地方列表的文章,特别是一些没有收录,或屏避收录的网站,这些都是原创的文章,大家可以自己去找一下。现在我给大家说一下,软件上的一些其他功能介绍:

1、如上图,这里就是去掉网址和采集图片的功能,可以按你的需求,是否打勾。

2、如上图,这里就是设置采集的条数和采集的文章标题最少字数。

3、如上图,这里可以定义替换词语,支持代码替换,文字替换等,这里要灵活使用,对一些难采集的列表,这里就要用到了。可以将某些代码代换为空,才可以采集到列表链接。

上面所说的都是芭奇站群软件的新采集功能,这个功能很强大,但这个功能还要继续需要完善,以满足不同人的需求。有了这个工具,你就不用担心自己不会写采集规则了,这个功能容易入门,容易操作,是新老站长最合适的一个功能。如有不懂的都可以加我QQ问我:509229860。

原文地址: 转载时请注明来源!

注:相关网站建设技巧阅读请移步到建站教程频道。

本文标题:织梦采集规则-织梦常用采集规则
本文地址: http://www.61k.com/1097869.html

61阅读| 精彩专题| 最新文章| 热门文章| 苏ICP备13036349号-1