PUMz.News

조선일보 Weeklybiz 용 룰파일 만들어봤습니다.

2011-03-28T17:17:00.000-07:00

Patrick Kim님의 요청으로 간만에 만들어봤습니다.
나름대로 주석을 달아봤습니다.
이해가 안되시면 다시 질문주세요.

<?xml version="1.0" encoding="UTF-8"?>
<PUMzRule Version="2.0" Type="News" Base="">
<Properties>
<Author>Jinwoo Min</Author>
<License>http://creativecommons.org/licenses/by-nc-sa/2.0/kr/</License>
<Version>1.0.1.1</Version>
<ContentsLicense>www.chosun.com</ContentsLicense>
</Properties>
<Site Title="조선일보 (Weekly Biz)" Url="http://www.chosun.com/" Encoding="euc-kr"/>

<Task Id="Grab" RootContentHandlerId="Categorized">
<ContentHandler Id="Categorized" ChildContentHandlerId="Paged" Type="ItemList">
<Properties>

<UrlFormat><![CDATA[http://news.chosun.com/weeklybiz/svc/list_in/list.html?catid={CategoryId}&pn=0]]></UrlFormat>
   <ItemCount>1</ItemCount>

<Item.1>1N</Item.1>
<Item.1.Title>Weekly Biz</Item.1.Title>


<ItemTo>CategoryId</ItemTo>
</Properties>
</ContentHandler>

<ContentHandler Id="Paged" ChildContentHandlerId="Listed" Type="NumberRange">
<Properties>

<UrlFormat><![CDATA[http://news.chosun.com/weeklybiz/svc/list_in/list.html?catid=${CategoryId}&pn=${PageNumber}]]></UrlFormat>

<StartNumber>1</StartNumber>
<EndNumber>2</EndNumber>
<NumberTo>PageNumber</NumberTo>
</Properties>
</ContentHandler>

<ContentHandler Id="Listed" ChildContentHandlerId="Article" Type="Regex">
<Properties>

<UrlPattern><![CDATA[<dt class="[^"]*"><a href="([^"]*)">([^<]*)</a>]]></UrlPattern>

<TitleIndex>2</TitleIndex>
<UrlFactorIndex>1</UrlFactorIndex>

<UrlFormat>http://news.chosun.com${UrlFactor}</UrlFormat>
<IndexTo>Index</IndexTo>
</Properties>
</ContentHandler>

<ContentHandler Id="Article" Type="Normal">
<ContentFilters>



<Crop StartTag="" EndTag="" IncludeTags="False" />


   <RemoveTags RemoveScripts="True" ExcludeTagsPattern="<img|<br|</p|<p|<dl|<dd|</dl|
</dd|<table|</table|<tr|</tr|<td|</td"/>


<GrabImage UrlPattern="<img[ a-z0-9":=._]*src="([^"]*)"" UrlFormat="${UrlFactor}"
ReplaceFormat="<img pumz src="${FileName}""/>
<Trim/>

</ContentFilters>
</ContentHandler>
</Task>

<Task Id="Output" RootContentHandlerId="Categorized">
<ContentHandler Id="Categorized" ChildContentHandlerId="Paged" Type="Normal">
<ContentFilters>
<ToFile FileNameFormat="index.html" Template="categorized-index.st"/>
</ContentFilters>
</ContentHandler>

<ContentHandler Id="Paged" ChildContentHandlerId="Listed" Type="Normal">
<ContentFilters>
<ToFile FileNameFormat="c${CategoryId}-index.html" Template="paged-index.st"/>
</ContentFilters>
</ContentHandler>

<ContentHandler Id="Listed" ChildContentHandlerId="Article" Type="Normal">
<ContentFilters>
<ToFile FileNameFormat="c${CategoryId}-p${PageNumber}-index.html" Template="listed-index.st"/>
</ContentFilters>
</ContentHandler>

<ContentHandler Id="Article" Type="Normal">
<ContentFilters>
<ToFile FileNameFormat="c${CategoryId}-p${PageNumber}-a${Index}.html" Template="article.st"/>
</ContentFilters>
</ContentHandler>
</Task>

</PUMzRule>

이사 완료되었군요.

2011-01-13T21:26:00.000-08:00

오늘부터 PUMz.News 는 http://pumznews.blogspot.com 입니다.

많은 애용 바랍니다.

PUMz.News 0.2.8.3이 Softpedia에 올라갔습니다.

2009-11-02T16:55:00.000-08:00

제가 만든 프로그램 중에 처음으로 올라갔네요.

많은 다운로드 부탁드려요.

업글도 더 열심히 해야겠네요.

http://www.softpedia.com/get/Internet/Other-Internet-Related/PUMz-News.shtml

모바일기기용 RSS 리더 및 웹 클리핑 어플리케이션 모음

2009-06-22T16:39:00.000-07:00

이 포스트에 모바일 기기용 RSS 리더 및 웹 클리핑 어플리케이션을 정리할까 합니다. 좋은 어플리케이션 있으면 많은 공유 부탁드립니다.

윈도우 모바일용

NewsBreak: RSS, PodCast 지원. 상용.
RSS Hub: News Break의 번들판 같음. 무료(?)
Total Viewer: 웹 클리핑. 무료
SPB Insight: RSS, 상용

iPhone/iPod Touch용

GhostNews: 한국 뉴스 클리핑. 무료
TouchNews: 한국 뉴스 클리핑. 상용
Byline: Google Reader

Android용

계속 업데이트 합니다.

PUMz 사용자 리뷰 모음

2009-06-22T06:36:00.000-07:00

모비포켓(Mobipocket)을 대체할 오프라인 RSS 리더 찾기 (2)

룰 파일을 다운로드할 수 있는 곳

2009-06-18T18:01:00.000-07:00

Updated 2011.1.17: 링크 수정

아래의 사이트에서 룰 파일을 다운받으실 수 있습니다.

제가 제작해서 배포하는 룰 파일 다운로드 (23개 사이트)

투데이스피피시 자료실 PUMz.News 검색 결과: 가장 먼저 배포하는 곳입니다.
클리앙 자료실 PUMz.News 검색 결과: 다음으로 배포하는 곳입니다.

사용자 분들께서 만들어 주신 룰 파일 다운로드

야후 뉴스/스포츠 사이트 룰 파일 모음: 네이버 SPH-M4650/4655 카페의 8256656님께서 작성하셨습니다.

룰 파일을 직접 만들어 주시고, 공유해 주신 분들께 감사드립니다.

PUMz.News 0.2.8.3 릴리즈

2009-06-16T17:47:00.000-07:00

오랜만에 릴리즈하는데 바뀐 사항은 아주 미미합니다. :)

이번에 바뀐 사항은...

자동 업데이트 사이트에 접속에 실패하더라도 에러 메시지를 표시하지 않고 조용히 넘어 가도록 했습니다.

다운로드는 오른쪽의 링크에서 00 PUMz 다운로드 (SF.net) 사이트로 이동하셔서 하시면 됩니다.

아무쪼록 잘 쓰시길...

PUMz Improvement Idea

2009-06-01T17:18:00.000-07:00

Regarding Engine

Performance (e.g. process text content first, then image)
Background processing
Using Multi-thread
Caching
Using small RDBMS such as SQLite for storing contents immediately

Regarding UI

Make simple
Make buttons bigger

Please comments if you have idea.

Regular Expression Designer

2009-01-13T19:57:00.000-08:00

radsoftware사에서 제공하는 아주 유용한 무료 정규식(Regular Expression) 설계 프로그램입니다. 실행하려면 .NET Framework이 필요합니다.

다양한 예제가 있어서 초보자도 쉽게 쓸 수 있겠네요.

다운로드: http://www.radsoftware.com.au/regexdesigner/
.NET Framework 3.5 다운로드: http://msdn.microsoft.com/en-au/netframework/aa569263.aspx
정규식 배우기: http://www.radsoftware.com.au/articles/regexlearnsyntax.aspx

이 블로그에서 소개하는 이유는 펌즈 룰 파일에서 정규식을 많이 쓰기 때문이죠. 조만간 펌즈에도 정규식을 테스트할 플러그인을 추가할 계획입니다.

PUMz.News 0.2.8.2 릴리즈

2008-12-23T22:39:00.000-08:00

오랜만에 릴리즈합니다.

이번에 바뀐 사항은...

XMLContentHandler에 GetContentFromItemLink, SkipOnError, MaxChildCount 속성이 추가되었습니다. (피드를 클리핑할 때 유용합니다.)
SyncImageContentFilter 가 추가되었습니다.

메리 크리스마스 & 해피 뉴이어~

피드(RSS, ATOM)를 클리핑할 때 이미지도 함께 긁어오게 하려면...

2008-12-21T22:16:00.000-08:00

피드를 클리핑할 때 기본적으로 포스팅에 첨부된 이미지는 가져오지 않습니다. 이를 함께 긁어오도록 하려면 다음의 내용을 ...

아래의 내용으로 수정해야 한다.

<img src="이미지 full URL"> 의 형식으로 되어 있다면 긁어올 것이고, 그렇지 않으면 못 가져올 수도 있습니다.

웹 스크래핑/클리핑(Scraping/Clipping) 엔진 혹은 라이브러리

2008-12-18T20:35:00.000-08:00

Perl 기반

Web::Scraper

Ruby 기반

ScrAPI

Python 기반

BeautifulSoup

Python Web Scrapper with BeautifulSoup

C# 기반

용어

A Structured 2D Graphics Framework in Java, .NET, .NET Compact Framework

2008-12-10T20:11:00.000-08:00

개인적으로 좋아하는 프로젝트였는데 중지되었다가, 든든한 후원자(MS)가 생겨서 다시 살아나게 되서 기쁘네요. 더 발전하기를...

Dynamic Class(Type) Loading in Compact Framework

2008-12-10T03:36:00.000-08:00

Compact Framework - how do I dynamically create type with no default constructor?

Jakarta Commons-Digester의 C# 구현인 NDigester, XML Serialization

2008-12-05T03:46:00.000-08:00

NDigester는 버전업이 안되고 있군요. 뭐 다른 대안이 생긴 걸까? 아님 쓰기에 충분할 걸까? XmlSerialization이 있어서 그럴지도...

PUMz 엔진에서 사용하는 기술 및 오픈 소스들

2008-11-25T20:03:00.000-08:00

한번 정리해봅니다.

사용하는 오픈 소스 제품들

Open C#: C#용 공용 라이브러리. 자동업데이트, 로깅, 플러그인 구조 제공
RichBrowserPlatform: Tab기반 웹 브라우저 플랫폼. Open C# 사용
DockPanelSuite: Docking Panel 콤포넌트. RichBrowserPlatform에서 사용
StringTemplate .NET 버전: Template Engine
ANTLR: Parser Generator. StringTemplate에서 사용

사용하는 기술들

.NET Framework 2.0: Virtual Machine
C#: 구현하는데 사용한 언어
HTTP: 클리핑을 위한 연결방식
XML: Configuration 및 룰 파일에서 사용
XPATH: XML데이터를 읽거나 룰 파일에서 사용.
RSS, ATOM: XML형태의 피드 데이터. 클리핑시 사용
Regular Expression: 클리핑시에 사용
Template: 클리핑한 결과를 HTML로 저장할 때 사용

C#으로 어플리케이션 하시는 분들에게 도움이 될려나 모르겠네요. 참고하세요.

Blogger, MetaWeblog APIs

2008-11-13T03:36:00.000-08:00

Managed Home Screen(Today) API for Windows Mobile

2008-11-12T02:10:00.000-08:00

Weather APIs, Applications for Windows Mobile

2008-11-12T01:53:00.000-08:00

Weather APIs

Weather for Windows Mobile

BackgroundWorker for .NET Compact Framework

2008-11-10T23:02:00.000-08:00

using GDI+ on Windows Mobile

2008-11-05T15:52:00.000-08:00

http://community.opennetcf.com/articles/cf/archive/2007/10/31/using-gdi-on-windows-mobile.aspx

HTML Rendering with/without WebBrowser Control in C#

2008-11-04T20:54:00.000-08:00

Anole: Free, Open Source
HTMLLabel: Commercial for Customer, Free for Developer
Managed HTML rendering

PUMz.News 0.2.8.1 릴리즈

2008-11-03T20:44:00.000-08:00

스크린샷

릴리즈 노트

"Regex" 컨텐트 핸들러에 "UrlHttpDecodingRequired" 옵션을 추가했습니다.

찾은 URL을 UrlDecode 해야하는 경우에 "True"로 설정합니다.

다운로드 (이미 0.2.7.0 버전이상을 설치하신 분은 재시작시 자동업데이트됩니다.)

처음 사용하시는 분들은 사용법을 먼저 읽어보세요.

PUMz.News 0.2.8.0 릴리즈합니다.

2008-10-28T23:15:00.000-07:00

이번에 바뀐 사항은...

"RegEx" 컨텐트 핸들러에 최대 자식 컨텐트 갯수를 설정할 수 있습니다. 쉽게 말하자면, 목록이 많은 경우, 최대 갯수를 지정하면 최대 갯수만큼만 가져오기 때문에 클리핑을 시간을 좀 줄일 수 있습니다.
룰에 EraseContentFilter 가 추가되었습니다. 이건 CropContentFilter와 반대로 가져온 컨텐트의 일부 내용을 지우는 것입니다. 부분적으로 지워야할 필요가 있는 경우에 필요하겠지요.

다운로드는...

0.2.7.0 이상 버전을 설치하신 분들은 실행시 자동으로 업데이트됩니다.
처음 받으시는 분들은 옆의 프로그램 다운로드 링크를 참고하세요.

그럼, 잘 쓰시길...

PUMz.News 0.2.7.1 릴리즈합니다.

2008-10-22T23:57:00.000-07:00

이번 릴리즈는 마이너 업데이트입니다.
룰 파일을 읽을 때 디렉토리를 모두 비우도록 했었던 것을 클리핑 시작시에 비우도록 변경했습니다.

잘 쓰십시오.

p.s. 0.2.7.0 설치하신 분은 실행시 자동업데이트 될 겁니다. 그 이전 버전을 설치하신 분들은 다운로드를 별도로 받으셔서 설치하셔야 합니다.