C# と VB.NET の質問掲示板

ASP.NET、C++/CLI、Java 何でもどうぞ

C# と VB.NET の入門サイト

Re[1]: C# 掲示板の書き込み検知について


(過去ログ 128 を表示中)

[トピック内 3 記事 (1 - 3 表示)]  << 0 >>

■75859 / inTopicNo.1)  C# 掲示板の書き込み検知について
  
□投稿者/ ぽん吉 (37回)-(2015/05/12(Tue) 02:12:23)

分類:[C#] 

C#にてアプリケーションを開発していて、とあるサイトの掲示板に書き込みがあったらお知らせをするツールを作ろうと思ってるのですが、書き込み1件につき1回だけお知らせして過去の書き込みは1回だけお知らせしたあとスルーするにはどうすればいいでしょうか?

ご教授頂ければ宜しくです。
引用返信 編集キー/
■75860 / inTopicNo.2)  Re[1]: C# 掲示板の書き込み検知について
□投稿者/ daive (56回)-(2015/05/12(Tue) 03:25:03)
2015/05/12(Tue) 03:36:00 編集(投稿者)

No75859 (ぽん吉 さん) に返信
>とあるサイトの掲示板に書き込みがあったらお知らせをするツールを作ろうと思ってるのですが、
とあるサイトに、WEBスクレイピングや、自動操作について、明示的な許可がありますか?
明示的許可が無い場合は、サイト管理者に確認してから行ってください。
明示的禁止が有る場合は、会員資格のはく奪、損害賠償請求、
契約違反による、様々な不利益を被る可能性があります。

検索ワード:岡崎市 図書館事件
誤認逮捕で、くだんの方は職を失っています。

株、博打をやっている方々は、
お構いなしに、自動操作を行っている方も
いらっしゃるようですし、
掲示板巡回アプリを作っていらっしゃる方では、
サイト開設者の禁止にも、関わらず行う方も
いるようです。

全てが禁止されているわけでもありませんし、
全てが許可されているわけでもありません。
グレーゾーンや、個別の場合が多いので、
社会人、学生、など普通に生活している方は、
安易手を出したり、考え無に行うと、
火傷します。

※警察が、必要があってでしょうが、
 オウム関連対象者に対して行った行為により、
 権力側に摘発の意志があれば、どの様な手を使ってでも、
 一般人を、逮捕可能だという事は、証明された様なものです。
引用返信 編集キー/
■75863 / inTopicNo.3)  Re[1]: C# 掲示板の書き込み検知について
□投稿者/ 魔界の仮面弁士 (315回)-(2015/05/12(Tue) 09:34:44)
No75859 (ぽん吉 さん) に返信

ブラウザ以外からの要求を望んでいないサイトなどもありますので、
具体的なコード等については回答を差し控えておきますが、考え方だけ:
(広告を挟んでいるサイトなどでは、スクレイピングで抜き出されると困るわけで)


> C#にてアプリケーションを開発していて、とあるサイトの掲示板に書き込みがあったらお知らせをするツール

Webアプリとして掲示板システムを作っているのなら、投稿処理が行われたタイミングで、
自身の携帯電話等にメールを投げれば良いかと思います;SmtpClientクラス等で。


自身の掲示板ではない場合は、定期的な巡回チェックしかないでしょう。

もしも、その掲示板が RSS や OpenML を持っているなら、それを利用しましょう。
たとえば、
dobon.net なら http://dobon.net/cgi-bin/vbbbs/rss.cgi?ver=2.0
MSDN Forum なら https://social.msdn.microsoft.com/Forums/ja-JP/csharpgeneralja/threads?outputAs=rss
などですね。わんくま掲示板のものは閉鎖されてしまったようですが:
( http://bbs.wankuma.com/index.cgi?mode=al2&namber=36822&KLOG=64 )


RSS の提供が無い場合は、HTTP HEAD で更新チェックという手法もありますが、
これは使えないサイトも多いですね。その場合は諦めて、通常手順通りの
GET メソッドからのスクレイピングを行うことになるでしょう。


> 過去の書き込みは1回だけお知らせしたあとスルーするにはどうすればいいでしょうか?
投稿日時が掲載されている掲示板なら、前回の最終投稿日時を記録しておけば、
その日付以降に書き込まれたものであるかどうかだけを比較すればすみますね。

投稿日時がないもの(日付のみの場合など)であったとしても、投稿番号が
連場付与されているケースが多いので、それを利用できるでしょう。

投稿番号すらないもの(たとえば、各投稿が GUID 管理されたものなど)は、
内容で判断することになるので、各投稿の内容あるいはそのハッシュ値を
LocalDB 等にキャッシュしておき、それと比較することで、
新規投稿かどうかの判定をするとか。
引用返信 編集キー/


トピック内ページ移動 / << 0 >>

このトピックに書きこむ

過去ログには書き込み不可

管理者用

- Child Tree -