C# と VB.NET の質問掲示板

お世話になります。
C#初心者です。。

IEnumerable<string[]> から DataTableへ変換したいです。。。
IEnumerable<string[]>の要素[0]には列名が入ってるイメージですが、そもそも回し方がよくわかってないので、
例題をおしえていただけますでしょうか。。

Csvから IEnumerable<string[]>にするところまではできました。。。

private void button2_Click(object sender, EventArgs e) {
    string wkCsvPath = @"C\Test.csv";
    // Csvデータのコンテキストを生成
    IEnumerable<string[]> context = Context(wkCsvPath, ",", Encoding.GetEncoding(932));
    // データテーブルへ上記のCsvデータを格納
    DataTable dtHoge = new DataTable();
}

// 指定されたCSVファイルへのコンテキストを生成する
private IEnumerable<string[]> Context(
    string path, string separator = ",", Encoding encoding = null) {
    using (Stream stream =
        new FileStream(path, FileMode.Open, FileAccess.Read, FileShare.Read)) {
        using (TextFieldParser parser =
            new TextFieldParser(stream, encoding ?? Encoding.UTF8, true, false)) {
            parser.TextFieldType = FieldType.Delimited;
            parser.Delimiters = new[] { separator };
            parser.HasFieldsEnclosedInQuotes = true;
            parser.TrimWhiteSpace = true;
            while (parser.EndOfData == false) {
                string[] fields = parser.ReadFields();
                yield return fields;
            }
        }
    }
}

＞魔界の仮面弁士 さん
そうなんですね。Csvが0バイトのケースや、列名重複やについてはむしろ例外になってくれたほうがありがたいので、
このメソッドを呼ぶ上位でTry Catchして、エラーをキャッチしたいと思いました。

＞WebSurfer さん
正直言うと、僕もワンクッション置く必要無いと思っています。。。
ただ、ジェネリクス型？IEnumerable<string[]>だけで事足りるような気がしますが、
先生がDatatableで作ってくださいって言ってて。。

LINQのこと、僕はあまりよくわかっていないのですが、DataTableでなくても、ジェネリクス型？IEnumerable<string[]>は、
WhereとかGroupbyとかが使えるので、WebSurfer さんが言うように、Jet Provider使って、直接DataTableに入れるか、
あるいは、このまま、IEnumerable<string[]>に対して検索していくかで良いような気がしています。

（今回の課題は、Csvの列は可変で、列の属性とかが読まないとわかんない感じの要件なんです。。。なので、Jetなんとかの、schema.ini は利用できない気がしてます。。
ちゃんと説明すると、条件設定XMLみたいなのがあって、そこには列名と、条件値とかが書かれてて、それを読み込んで、Csvを読み込んで、
Csvに対して、このXMLから読み込んだ条件でDataTableに対して絞り込む感じなんです。）

なので、ちょっと気になるのは、Jet ProviderでCsvからDataTableに入れると、勝手に型指定されちゃって、
あとで、こうやって、
var recSets = dtKawauso.AsEnumerable();
var q1 = from recodes in recSets
         group recodes by recodes.Field<string>("kawausoCol01") into recode
         select new {
             recKey = recode.Key,
             recCount = recode.Count()
         };

クエリ式？でLINQ使う時に、recodes.Field<string>の <型>の部分がわからなくて躓く気がするので、
魔界の仮面弁士 さんがDataTable作るメソッド教えてくれたときに全部 列の属性？を文字型にしてくれてる感じが
都合が良い気がしています。すみません拙くて、、伝わりますかね。。

他にもちょっと躓いてる感じがするので、またちゃんと整理するので、
お聞きしてもよいでしょうか＞＜

今、DataTableに対して、LINQで抽出するのと、DataTableのSelectメソッド使うのとが複合的になってて、
DataTableのSelectメソッドだと、抽出した結果が多いとすごく遅いんです。なんでだろうか。
50000行とかあると、3分とかかかっちゃうんです。

なので、この辺ちゃんとGoogleとか見て、なんで遅いのとかちゃんと整理して解決しなかったら、また聞かせてください。

魔界の仮面弁士 さん
ありがとうございます！

>ついでに、foreach ループ無しで列を作ってみる例。
>tbl.Columns.AddRange(records.First().Select(colName => new DataColumn(colName)).ToArray());
ラムダ式ってやつですよね？昨日本で読みました。1行でかけるやつですよね。
便利だけどこの構文を理解できなくて、ちゃんと使えない人がまだまだ多いって聞いたことがあります。
僕はちゃんと使えるようになりたいです。。

>DataTable は変更通知などを備えているので、コントロール(DataGridView 等)にバインドする際に都合がよかったりします。
なるほど。他コントロールへの適用することを考慮してる可能性ですね。
根拠がわかるとしっくりきますね。。。

>なお、今回使うかどうかはさておき、
>　Microsoft.JET.OLEDB.3.51
>　Microsoft.JET.OLEDB.4.0
>などは既に非推奨となっているので、使うとしても
>　Microsoft.ACE.OLEDB.12.0
>などの方が良いでしょう。
Jet Providerは古いってことなんですかね。。

> group recodes by recodes.Field<string>("kawausoCol01") into recode
> recode　書き直す、再符号化する
> record　記録(する)、レコード
お恥ずかしい（汗）なんか英語が弱いんですよね。変数とか命名するときあとからみると恥ずかしくなります。

> rec.Field<dynamic>(列) や (dynamic)rec[列] という手も。
dynamicで指定する方法ですか、これピンと来てないのでちゃんと調べてみますね。

>tbl.Columns.Add(colName, typeof(string)) は
>tbl.Columns.Add(colName) と書いても同じ意味になります。
型指定を省略すると、string型になるということですね。

>IEnumerable<> に対する Select は式木(expression-tree)を構築した上での遅延実行ですが、
>DataTable に対する Select は字句解析(DataExpression)からの即時実行で、比較的低速です。
こないだ基本情報受けたときにこんな感じの出てきました。こうやってちゃんと繋がっていく感じが実感できると嬉しいですね。

がんばります！

WebSurfer さん
>少なくとも何故 DataTable なのかを先生に聞いてその理由を書いてください。
ちょうどさっき訊いたのですが、他コントロールへのバインドを考慮してるので、DataTableでとのことでした。
魔界の仮面弁士 さんが仰ったことと同じですね。

今のところ、単純にチェック結果のレコードをまたCsvにして出力するだけなんですけどね。
InputとOutputの列構造は同じ構造で、条件に一致したレコードだけが出力されるイメージ。

魔界の仮面弁士 さん

LINQのラムダ式を動的に指定する方法がどうしてもわからず、、、
質問させていただいてもよろしいでしょうか。。

以下のように、条件テーブル：dtConditionと、チェック対象テーブル：dtMainがあったとして、
LINQのGroupBy拡張メソッドへ動的に値を指定したいのですが、
そのやり方が不明で、、どうしてもべた書きにせざるを得ないんです。
何か方法があるものなのでしょうか。


■サンプルソース
---------------------------------------------------------------------------------
using System.Linq;
using System.Data;

namespace ConsoleApp25 {
    class Program {
        static void Main(string[] args) {

            // ■条件テーブル
            DataTable dtCondition = new DataTable();

            dtCondition.Columns.Add("SEQ", typeof(int)).AllowDBNull = true;
            dtCondition.Columns.Add("Condition", typeof(string)).AllowDBNull = true;

            DataRow dr = dtCondition.NewRow();
            dr["SEQ"] = 1;
            dr["Condition"] = "KAWAUSO_COL01";
            dtCondition.Rows.Add(dr);

            dr = dtCondition.NewRow();
            dr["SEQ"] = 2;
            dr["Condition"] = "KAWAUSO_COL02";
            dtCondition.Rows.Add(dr);

            dr = dtCondition.NewRow();
            dr["SEQ"] = 3;
            dr["Condition"] = "KAWAUSO_COL03";
            dtCondition.Rows.Add(dr);

            // ■チェック対象テーブル
            DataTable dtMain = new DataTable();

            dtMain.Columns.Add("SEQ", typeof(int)).AllowDBNull = true;
            dtMain.Columns.Add("KAWAUSO_COL01", typeof(string)).AllowDBNull = true;
            dtMain.Columns.Add("KAWAUSO_COL02", typeof(string)).AllowDBNull = true;
            dtMain.Columns.Add("KAWAUSO_COL03", typeof(string)).AllowDBNull = true;

            dr = dtMain.NewRow();
            dr["SEQ"] = 1;
            dr["KAWAUSO_COL01"] = "TESTVALUE01";
            dr["KAWAUSO_COL02"] = "TESTVALUE02";
            dr["KAWAUSO_COL03"] = "TESTVALUE03";
            dtMain.Rows.Add(dr);

            dr = dtMain.NewRow();
            dr["SEQ"] = 2;
            dr["KAWAUSO_COL01"] = "TESTVALUE01";
            dr["KAWAUSO_COL02"] = "TESTVALUE02";
            dr["KAWAUSO_COL03"] = "TESTVALUE03";
            dtMain.Rows.Add(dr);

            dr = dtMain.NewRow();
            dr["SEQ"] = 3;
            dr["KAWAUSO_COL01"] = "TESTVALUE01";
            dr["KAWAUSO_COL02"] = "TESTVALUE02";
            dr["KAWAUSO_COL03"] = "TESTVALUE03-01";
            dtMain.Rows.Add(dr);

            string targetCol01 = dtCondition.Rows[0]["Condition"].ToString();
            string targetCol02 = dtCondition.Rows[1]["Condition"].ToString();
            string targetCol03 = dtCondition.Rows[2]["Condition"].ToString();

            var recSets = dtMain.AsEnumerable();

            // LINQ 静的ラムダ式 → ここを動的にするにはどうすれば…
            var q1 = from records in recSets
                     group records by new {
                         recCol01 = records.Field<string>(targetCol01),
                         recCol02 = records.Field<string>(targetCol02),
                         recCol03 = records.Field<string>(targetCol03)
                     } into record
                     select new {
                         recKey = record.Key,
                         recCount = record.Count()
                     };

            var targets = q1.Where(x => x.recCount > 1);

        }
    }
}
---------------------------------------------------------------------------------

■No90315 (魔界の仮面弁士 さん) に返信
魔界の仮面弁士 さん

ありがとうございます！まだ睨めっこしてます…

一発で重複チェックできるんですね…。
メソッドチェーンのチェーンのチェーンでなんだか頭がこんがらがってきました。。。（汗）

ええと、GroupByする可変のカラムは、自作でこさえた、StringItemsメソッドに渡して生成するところまではわかりました。
例えば、このGroupBy句に転送する,可変のカラムが以下の3種だったとして、
{ "KAWAUSO_COL01", "KAWAUSO_COL02", "KAWAUSO_COL03"};
この列の値 != "" の条件をWhere句で加えたい場合は、やっぱり厄介になりますかね。。

イメージ的には、以下のような感じを想定しているのですが、、、

// 重複しているレコードの主キー(SEQ)を列挙する場合
IEnumerable<int> conflictSEQ = dtMain.AsEnumerable()
//　.Where(row => row.Field<string>("KAWAUSO_COL01") != "" &
//           row.Field<string>("KAWAUSO_COL02") != "" &
//           row.Field<string>("KAWAUSO_COL03") != "")
　.Select(row => new { row, key = new StringItems(conditions.Select(colName => row.Field<string>(colName)).ToArray()) })
　.GroupBy(x => x.key, x => x.row).Where(x => x.Skip(1).Any())
　.SelectMany(x => x.Select(r => r.Field<int>("SEQ")));

以下で絞ればいいのですかね？
// 重複しているキーごとの DataRow を列挙する例
Dictionary<StringItems, DataRow[]> conflict = dtMain.AsEnumerable()
　.Select(row => new { row, key = new StringItems(conditions.Select(colName => row.Field<string>(colName)).ToArray()) })
　.GroupBy(x => x.key, x => x.row).Where(x => x.Skip(1).Any())
　.ToDictionary(x => x.Key.Items, x => x.ToArray());


やはりちゃんと理解できていない気がしますので、
まずはチェーンを一つずつ紐解いていきます。