C# と VB.NET の質問掲示板
ASP.NET、C++/CLI、Java 何でもどうぞ
掲示板トップ
C# と VB.NET 入門
新規作成
利用方法
ツリー表示
トピック表示
ランキング
記事検索
過去ログ
ログ内検索
キーワードを複数指定する場合は 半角スペース で区切ってください。
検索条件は、(AND)=[A かつ B] (OR)=[A または B] となっています。
[返信]をクリックすると返信ページへ移動します。
キーワード
/
検索条件
/
(AND)
(OR)
検索範囲
/
(現在のログ)
(全過去ログ)
(過去ログ1)
(過去ログ2)
(過去ログ3)
(過去ログ4)
(過去ログ5)
(過去ログ6)
(過去ログ7)
(過去ログ8)
(過去ログ9)
(過去ログ10)
(過去ログ11)
(過去ログ12)
(過去ログ13)
(過去ログ14)
(過去ログ15)
(過去ログ16)
(過去ログ17)
(過去ログ18)
(過去ログ19)
(過去ログ20)
(過去ログ21)
(過去ログ22)
(過去ログ23)
(過去ログ24)
(過去ログ25)
(過去ログ26)
(過去ログ27)
(過去ログ28)
(過去ログ29)
(過去ログ30)
(過去ログ31)
(過去ログ32)
(過去ログ33)
(過去ログ34)
(過去ログ35)
(過去ログ36)
(過去ログ37)
(過去ログ38)
(過去ログ39)
(過去ログ40)
(過去ログ41)
(過去ログ42)
(過去ログ43)
(過去ログ44)
(過去ログ45)
(過去ログ46)
(過去ログ47)
(過去ログ48)
(過去ログ49)
(過去ログ50)
(過去ログ51)
(過去ログ52)
(過去ログ53)
(過去ログ54)
(過去ログ55)
(過去ログ56)
(過去ログ57)
(過去ログ58)
(過去ログ59)
(過去ログ60)
(過去ログ61)
(過去ログ62)
(過去ログ63)
(過去ログ64)
(過去ログ65)
(過去ログ66)
(過去ログ67)
(過去ログ68)
(過去ログ69)
(過去ログ70)
(過去ログ71)
(過去ログ72)
(過去ログ73)
(過去ログ74)
(過去ログ75)
(過去ログ76)
(過去ログ77)
(過去ログ78)
(過去ログ79)
(過去ログ80)
(過去ログ81)
(過去ログ82)
(過去ログ83)
(過去ログ84)
(過去ログ85)
(過去ログ86)
(過去ログ87)
(過去ログ88)
(過去ログ89)
(過去ログ90)
(過去ログ91)
(過去ログ92)
(過去ログ93)
(過去ログ94)
(過去ログ95)
(過去ログ96)
(過去ログ97)
(過去ログ98)
(過去ログ99)
(過去ログ100)
(過去ログ101)
(過去ログ102)
(過去ログ103)
(過去ログ104)
(過去ログ105)
(過去ログ106)
(過去ログ107)
(過去ログ108)
(過去ログ109)
(過去ログ110)
(過去ログ111)
(過去ログ112)
(過去ログ113)
(過去ログ114)
(過去ログ115)
(過去ログ116)
(過去ログ117)
(過去ログ118)
(過去ログ119)
(過去ログ120)
(過去ログ121)
(過去ログ122)
(過去ログ123)
(過去ログ124)
(過去ログ125)
(過去ログ126)
(過去ログ127)
(過去ログ128)
(過去ログ129)
(過去ログ130)
(過去ログ131)
(過去ログ132)
(過去ログ133)
(過去ログ134)
(過去ログ135)
(過去ログ136)
(過去ログ137)
(過去ログ138)
(過去ログ139)
(過去ログ140)
(過去ログ141)
(過去ログ142)
(過去ログ143)
(過去ログ144)
(過去ログ145)
(過去ログ146)
(過去ログ147)
(過去ログ148)
(過去ログ149)
(過去ログ150)
(過去ログ151)
(過去ログ152)
(過去ログ153)
(過去ログ154)
(過去ログ155)
(過去ログ156)
(過去ログ157)
(過去ログ158)
(過去ログ159)
(過去ログ160)
(過去ログ161)
(過去ログ162)
(過去ログ163)
(過去ログ164)
(過去ログ165)
(過去ログ166)
(過去ログ167)
(過去ログ168)
(過去ログ169)
(過去ログ170)
(過去ログ171)
(過去ログ172)
(過去ログ173)
(過去ログ174)
(過去ログ175)
(過去ログ176)
(過去ログ177)
(過去ログ178)
(過去ログ179)
強調表示
/
ON
(自動リンクOFF)
結果表示件数
/
20件
30件
40件
50件
100件
記事No検索
/
ON
大文字と小文字を区別する
No.47826 の関連記事表示
ヒット / 13件
(1-13 を表示)
<<
0
>>
■47826
DataTableに特殊なフィルタリングをかけたい
□投稿者/ オーブ -
(2010/03/16(Tue) 10:13:15)
分類:[VB.NET/VB2005 以降]
開発環境 VB2008 EXP
現在、以下のようなことを行おうとしています。
1.任意の抽出条件によりデータを抽出し、DataTableに格納する。
2.類似内容の行を排除するため、DataTableの各行について、対象行に含まれるキーワードが、
他の行に含まれている場合は、対象行を削除する。
(対象行に含まれるキーワードの抽出方法は、独自のロジックを使用します。)
※例
対象行のキーワードが、"りんご"・"バナナ"・"みかん"であった場合、
"りんご"・"バナナ"・"みかん"を含む他の行がDataTableに存在する場合は、対象行を削除する
そこで、自分なりに考え、以下のように処理を行ってみました。
1.検索結果をDataTableに格納
DataTableには、"テキスト"と"ID"という列があるとする。
2.DataTableの全行スキャンのためのループ開始
3. DataTableの対象行の"テキスト"項目より、含まれているキーワードを抽出(独自ロジック)
4. フィルタ用式を作成(例えば、対象行に含まれているキーワードが"りんご"・"バナナ"・"みかん"の場合、
テキスト LIKE '%りんご%' AND テキスト LIKE '%バナナ%' AND テキスト LIKE '%みかん%' AND ID <> (対象行のID)
※とりあえず、%記号等のエスケープは無視します
5. DataTable.Select(フィルタ式)やDataView.RowFilterでフィルタ式を設定する。
6. フィルタ式に該当する行がある場合は、DataTableの対象行をDeleteする
7.次の行に移動する(2.のループのはじめに戻る)
しかし、DataTable内の行数が1000件くらいだと、私のPCでは20秒近くかかってしまいます。
よく調べてみると、5.の処理をコメントアウトすると上記処理はすぐ終わるので、どうやらフィルタ設定で時間がかかるようです。
上記のようなことを実現し、かつもう少し処理を早くする方法はないでしょうか?
もちろん、DataTableを使用しない方法でも結構です。
アドバイスの程、よろしくお願いします。
親記事 /過去ログ81より /
関連記事表示
削除チェック/
■47833
Re[1]: DataTableに特殊なフィルタリングをかけたい
□投稿者/ nori -
(2010/03/16(Tue) 11:23:24)
2010/03/16(Tue) 11:30:35 編集(投稿者)
つ
http://bbs.wankuma.com/index.cgi?mode=al2&namber=14929&KLOG=31
検索したらでてきたこれでどうですか?
# 速くなるか分りませんが。。。
記事No.47826 のレス /過去ログ81より /
関連記事表示
削除チェック/
■47835
Re[1]: DataTableに特殊なフィルタリングをかけたい
□投稿者/ 魔界の仮面弁士 -
(2010/03/16(Tue) 11:31:17)
■
No47826
(オーブ さん) に返信
> どうやらフィルタ設定で時間がかかるようです。
試していませんが、DataView.RowFilter の代わりに、
Enumerable.Where メソッドを使ってみては如何でしょう。
記事No.47826 のレス /過去ログ81より /
関連記事表示
削除チェック/
■47842
Re[2]: DataTableに特殊なフィルタリングをかけたい
□投稿者/ オーブ -
(2010/03/16(Tue) 13:22:39)
皆様、コメント頂きありがとうございます。
■
No47835
(魔界の仮面弁士 さん) に返信
> ■
No47826
(オーブ さん) に返信
>>どうやらフィルタ設定で時間がかかるようです。
>
> 試していませんが、DataView.RowFilter の代わりに、
> Enumerable.Where メソッドを使ってみては如何でしょう。
Enumerable.Whereについて検索したところ、以下に説明がありました。
http://msdn.microsoft.com/ja-jp/library/bb534803.aspx
しかし、Enumerable.Whereを使うとき、以下のようなフィルタ式はどのように作成すればよいのでしょうか?
テキスト LIKE '%りんご%' AND テキスト LIKE '%バナナ%' AND テキスト LIKE '%みかん%' AND ID <> (対象行のID)
この"りんご"や"バナナ"といったキーワードの内容および数は対象行により変動します。
魔界の仮面弁士様、もう少しアドバイスをお願い頂けますでしょうか?
よろしくお願いします。
記事No.47826 のレス /過去ログ81より /
関連記事表示
削除チェック/
■47834
Re[1]: DataTableに特殊なフィルタリングをかけたい
□投稿者/ 自作 -
(2010/03/16(Tue) 11:29:51)
■
No47826
(オーブ さん) に返信
同じ質問者ならハンドル変えるのやめて欲しい。
質問者は、回答者が必要とする情報を十分に提供していない場合が
多いのだから、少しでも過去の情報を把握しておきたいから。
ローカル(.Net Framework)に期待するのは無理があるのでは?
データベース側のチューニングやストアドで、結果だけもらえば
いいのでは?
# ってローカルで DataTable 作ってる可能性もあるのか。。。
# いやでも、検索結果ってところからはじまってるし。。。
記事No.47826 のレス /過去ログ81より /
関連記事表示
削除チェック/
■47838
Re[2]: DataTableに特殊なフィルタリングをかけたい
□投稿者/ みきぬ -
(2010/03/16(Tue) 11:48:31)
■
No47834
(自作 さん) に返信
> ■
No47826
(オーブ さん) に返信
> 同じ質問者ならハンドル変えるのやめて欲しい。
どのスレッドの質問者と同じだと思ったのか、どうしてそう思ったのか、説明がいると思います。
> 質問者は、回答者が必要とする情報を十分に提供していない場合が
> 多いのだから、少しでも過去の情報を把握しておきたいから。
>
このスレッドで、質問者がどういう情報を十分に提供していないのですか?
で、それは自分が十分な情報を提供していないことの言い訳になるのですか?
ちなみに、私は異なるスレッドで異なるHNを使っててもあまり気にしません。
記事No.47826 のレス /過去ログ81より /
関連記事表示
削除チェック/
■47844
Re[1]: DataTableに特殊なフィルタリングをかけたい
□投稿者/ みきぬ -
(2010/03/16(Tue) 13:40:10)
■
No47826
(オーブ さん) に返信
> 開発環境 VB2008 EXP
> 現在、以下のようなことを行おうとしています。
>
> 1.任意の抽出条件によりデータを抽出し、DataTableに格納する。
> 2.類似内容の行を排除するため、DataTableの各行について、対象行に含まれるキーワードが、
> 他の行に含まれている場合は、対象行を削除する。
> (対象行に含まれるキーワードの抽出方法は、独自のロジックを使用します。)
> ※例
> 対象行のキーワードが、"りんご"・"バナナ"・"みかん"であった場合、
> "りんご"・"バナナ"・"みかん"を含む他の行がDataTableに存在する場合は、対象行を削除する
>
「DataTable に格納するときに、類似内容であれば格納しない」とすれば、比較の回数を半分程度にできそうな気がします。
# 半分でも10秒か...
ところで、仮に10行目と13行目が類似していた場合、いらないのはどっちですか?
元のロジックだと、おそらく10行目が削除されると思います。
私のロジックだと、13行目が追加されないようになります(10行目が残ります)
記事No.47826 のレス /過去ログ81より /
関連記事表示
削除チェック/
■47848
Re[2]: DataTableに特殊なフィルタリングをかけたい
□投稿者/ オーブ -
(2010/03/16(Tue) 14:06:34)
■
No47844
(みきぬ さん) に返信
> ところで、仮に10行目と13行目が類似していた場合、いらないのはどっちですか?
> 元のロジックだと、おそらく10行目が削除されると思います。
> 私のロジックだと、13行目が追加されないようになります(10行目が残ります)
みきぬ様、コメントありがとうございます。
10行目と13行目が類似していた場合、どちらが残ってもOKです。
ただし、10行目で抽出されるキーワードが"りんご"・"バナナ"・"みかん"で、
10行目で抽出されるキーワードが"りんご"・"バナナ"・"みかん"・"メロン"の場合は
10行目のキーワードはすべて13行目のキーワードに含まれ、13行目のキーワードの数が多いため("メロン"がある)
13行目を残し、10行目を削除したいのです。
例が悪くて申し訳ありませんが、如何でしょうか?
どのようなロジックで組み立てればよいか、アドバイスを頂けますでしょうか?
よろしくお願いします。
記事No.47826 のレス /過去ログ81より /
関連記事表示
削除チェック/
■47850
Re[3]: DataTableに特殊なフィルタリングをかけたい
□投稿者/ オーブ -
(2010/03/16(Tue) 14:08:32)
> ただし、10行目で抽出されるキーワードが"りんご"・"バナナ"・"みかん"で、
> 10行目で抽出されるキーワードが"りんご"・"バナナ"・"みかん"・"メロン"の場合は
申し訳ありません。以下に訂正します。
ただし、10行目で抽出されるキーワードが"りんご"・"バナナ"・"みかん"で、
13行目で抽出されるキーワードが"りんご"・"バナナ"・"みかん"・"メロン"の場合は
記事No.47826 のレス /過去ログ81より /
関連記事表示
削除チェック/
■47854
Re[3]: DataTableに特殊なフィルタリングをかけたい
□投稿者/ みきぬ -
(2010/03/16(Tue) 16:08:12)
> どのようなロジックで組み立てればよいか
(条件1) 既にある行で、挿入しようとしている行のキーワードがすべて含まれる行がある
(条件2) 挿入しようとしている行が、既にある行のキーワードをすべて含んでいる
として、DataTable へ行を挿入しようとする時に
・条件1 を満たす(条件2はどちらでもいい) → 挿入しない
・条件2 だけ満たす → 既にある行を削除してから挿入
・どちらも満たさない → 挿入
という風にすればいけそうかな。
データ件数の2乗のオーダーで比較が必要なのは動かせない(と思う)ので、遅くなるのはどうしようもないかも…。
# 仮に where を使えたとしても、それぞれの試行で全件検索がいるのは変わらないはず
もしも、複数の行をうまいこと1つのグループにまとめてそれをかわりに比較に使うことができれば、かなりの割合で比較回数を抑えられそうだけど…難しそう。
記事No.47826 のレス /過去ログ81より /
関連記事表示
削除チェック/
■47862
Re[4]: DataTableに特殊なフィルタリングをかけたい
□投稿者/ オーブ -
(2010/03/16(Tue) 18:29:47)
■
No47854
(みきぬ さん) に返信
> (条件2) 挿入しようとしている行が、既にある行のキーワードをすべて含んでいる
> ・条件2 だけ満たす → 既にある行を削除してから挿入
この「条件2だけ満たす」は、既にある行すべてをチェックする必要があると思うのですが、
これも結構時間がかかりそうですよね。
記事No.47826 のレス /過去ログ81より /
関連記事表示
削除チェック/
■47863
Re[5]: DataTableに特殊なフィルタリングをかけたい
□投稿者/ みきぬ -
(2010/03/16(Tue) 18:54:12)
■
No47862
(オーブ さん) に返信
> ■
No47854
(みきぬ さん) に返信
>>(条件2) 挿入しようとしている行が、既にある行のキーワードをすべて含んでいる
>>・条件2 だけ満たす → 既にある行を削除してから挿入
>
> この「条件2だけ満たす」は、既にある行すべてをチェックする必要があると思うのですが、
> これも結構時間がかかりそうですよね。
条件1と条件2はセットでチェックできると思いますが、
2件目を挿入しようとする時には1回、1000件目を挿入しようとする時には999回のチェックがいります(類似が1つもなかった場合)
なので合計すると、1 + 2 + ... + 999 = (1 + 999) * 999 / 2 = 499500 回のチェックがいる、と。
元の方法だと、DataTable のそれぞれのレコードに対して自身を除いた999回のチェックがいるので、999 * 1000 = 999000回のチェックがいりますよね。
なのでチェック回数は半分ですむよ、というのが
No47844
で書いたことです。
ただ前にも書いた通り、件数の2乗に比例する(O(n^2))のは私の方法でも変わらないので、根本的に遅いのがどうにかなるわけではないです。
でも、探そうとしていることが全件検索が必要な類の処理なので、そこはどうしようもないのかなと思うのですが…どうなんでしょうねえ。
// 以下余談
ちなみに最良ケース(全件類似している場合)だと、私の処理は 1 × 999 回のチェック(つまり O(n))ですむのに対し、元の処理では 999 + 998 + ... + 1 = 499500 回のチェックがいる(つまり、やっぱり O(n^2))ので、類似するデータが多いほど効果は大きいんじゃないかなと思います。
記事No.47826 のレス /過去ログ81より /
関連記事表示
削除チェック/
■47887
Re[6]: DataTableに特殊なフィルタリングをかけたい
□投稿者/ オーブ -
(2010/03/17(Wed) 10:13:01)
皆様、色々とお騒がせしましたが、以下の方法で、大幅な処理速度向上をはかることができました。
前提:ClassXというクラスを用意し、このクラスには以下のメンバを用意する
・IDプロパティ
検索結果を格納するDataTableの"ID"列の内容を格納
・ListKeyWordプロパティ
検索結果を格納するDataTableの"テキスト"列より抽出したキーワードのList(Of String)を格納
・Similarメソッド
比較用のClassXインスタンスを引数にする。
引数のID <> 自身のIDかつ、引数のListKeyWordの要素すべてが自身のListKeyWordに含まれていればTrueを返す
1.検索結果をDataTableに格納
DataTableには、"テキスト"と"ID"という列があるとする。
2.DataTableの全行の内容を、lst_ As List(Of ClassX)に格納する。
3.List(Of ClassX)の末尾から先頭に向かってループ開始
4. 対象行のClassXに類似する要素がList(Of ClassX)に存在する場合、対象行のDataTable要素およびList(Of ClassX)要素を削除する。
類似要素の存在チェックは以下のように行う。
lst_.Exists(Function(c) c.Similar(lst_.Item(i))) 'iはループの対象要素インデックス
5.前の行に移動する(3.のループのはじめに戻る)
この結果、検索結果をDataTableに格納した後にかかる時間が、私のPCで
旧方式:約24秒
新方式:約8秒
となりました。
とりあえずこの結果に満足しておりますので、これにてこの質問は解決とさせて頂きます。
ありがとうございました。
記事No.47826 のレス / END /過去ログ81より /
関連記事表示
削除チェック/
<<
0
>>
パスワード/
-
Child Tree
-