using System;
using System.IO;
using System.Linq;
using System.Text;

/// <summary>与えられたStreamの内容を読み込み、BOMを維持/破棄した上で透過的に返すStream。　同時にBOMからEncodingを自動判別も行う。</summary>
class BomTransparentStream : Stream {
  private Stream baseStream;
  public Stream BaseStream => baseStream ?? throw new ObjectDisposedException(GetType().FullName);

  private readonly bool discardBom;

  public BomTransparentStream(string path, bool discardBom = true)
    : this(File.OpenRead(path), discardBom) {}

  public BomTransparentStream(Stream baseStream, bool discardBom = true)
  {
    this.baseStream = baseStream ?? throw new ArgumentNullException(nameof(baseStream));
    this.discardBom = discardBom;
  }

  public override void Close()
  {
    baseStream?.Close();
    baseStream = null;

    base.Close();
  }

  public override bool CanSeek => false; // シークはサポートしない
  public override bool CanRead => BaseStream.CanRead;
  public override bool CanWrite => false; // 書き込みはサポートしない
  public override bool CanTimeout => BaseStream.CanTimeout;
  public override long Position {
    get => BaseStream.Position; // 本来ならBOM分を差し引いた値を返すべき
    set => throw new NotSupportedException();
  }
  public override long Length => BaseStream.Length; // 本来ならBOM分を差し引いた値を返すべき
  public override void SetLength(long @value) => throw new NotSupportedException(); // 長さの設定はサポートしない
  public override long Seek(long offset, SeekOrigin origin) => throw new NotSupportedException();
  public override void Flush() => throw new NotSupportedException();
  public override void Write(byte[] buffer, int offset, int count) => throw new NotSupportedException();

  /// <summary>BOMから自動判別されたEncoding</summary>
  /// <remarks>未判別の状態、また判別できなかった場合はEncoding.Defaultを返す</remarks>
  public Encoding DetectedEncoding { get; private set; } = Encoding.Default;

  /// <summary>まだBOMを読み込んでいない場合は、BOMの読み込みとEncodingの自動判別を行う</summary>
  public void ReadPreamble()
  {
    if (isPreamble)
      Read(Array.Empty<byte>(), 0, 0);
  }

  private bool isPreamble = true;
  private ReadOnlyMemory<byte> preamble = default;

  /// <summary>BaseStreamから読み込み、BOMを維持/破棄した結果を返す。　最初に呼び出された際は、BOMからEncodingの自動判別も行う。</summary>
  public override int Read(byte[] buffer, int offset, int count)
  {
    // 引数チェックは省略

    if (isPreamble) {
      isPreamble = false;

      // まだBOMを読み込んでいない場合は、BaseStreamの先頭4バイト分を読み込む
      Memory<byte> _preamble = new byte[4];

      BaseStream.Read(_preamble.Span); // 戻り値のチェックは省略、この実装ではStreamの内容が4バイト未満の場合は想定していない

      // Encodingの判別を行い、判別できた場合はBOMを除去した結果を取得する
      var (detectedEncoding, remainder) = DetectEncodingFromPreamble(_preamble);

      DetectedEncoding = detectedEncoding;

      // BOMを維持/破棄した内容をpreambleとして保持する
      preamble = discardBom ? remainder : _preamble;
    }

    var buf = buffer.AsMemory(offset, count);
    var readCount = 0;

    for (;;) {
      // preambleとして保持されている内容が空なら、BaseStreamから読み込み、そのまま返す
      if (preamble.IsEmpty)
        return readCount + BaseStream.Read(buf.Span);

      // preambleの内容をbufferにコピーする
      if (preamble.Length <= buf.Length) {
        var len = preamble.Length;

        preamble.CopyTo(buf);
        preamble = default; // コピー済みのため、空にする

        buf = buf.Slice(len);

        readCount += len;
      }
      else {
        var len = buf.Length;

        preamble.Slice(0, len).CopyTo(buf);
        preamble = preamble.Slice(len);

        return len;
      }
    }
  }

  private static (Encoding, ReadOnlyMemory<byte>) DetectEncodingFromPreamble(ReadOnlyMemory<byte> preamble)
  {
    // 与えられたpreambleからEncodingを判別する
    var e = encodings.FirstOrDefault(e => preamble.Span.StartsWith(e.Preamble)) ?? Encoding.Default;

    // 判別したEncodingと、BOMを差し引いた分を返す
    return (e, preamble.Slice(e.Preamble.Length));
  }

  // BOMの長い順にソート済みのEncoding
  private static readonly Encoding[] encodings = new[] {
    Encoding.UTF32,
    new UTF32Encoding(bigEndian: true, byteOrderMark: true),
    Encoding.UTF8,
    Encoding.Unicode,
    Encoding.BigEndianUnicode,
  };
}

using System;
using System.IO;
using System.Text;

class Sample {
  static void Main()
  {
    var encodings = new Encoding[] {
      new UTF8Encoding(encoderShouldEmitUTF8Identifier: true),
      new UTF8Encoding(encoderShouldEmitUTF8Identifier: false),
      new UnicodeEncoding(bigEndian: true, byteOrderMark: true),
      new UnicodeEncoding(bigEndian: true, byteOrderMark: false),
      new UnicodeEncoding(bigEndian: false, byteOrderMark: true),
      new UnicodeEncoding(bigEndian: false, byteOrderMark: false),
      new UTF32Encoding(bigEndian: true, byteOrderMark: true),
      new UTF32Encoding(bigEndian: true, byteOrderMark: false),
      new UTF32Encoding(bigEndian: false, byteOrderMark: true),
      new UTF32Encoding(bigEndian: false, byteOrderMark: false),
      shift_jis,
    };

    const string contents = "日本語";
    const string path = "out.txt";

    foreach (var encoding in encodings) {
      // 各種Encoding+BOMあり/なしでファイルに書き込む
      File.WriteAllText(path, contents, encoding);

      // 出力したファイル内容を16進形式で表示
      Console.Write("{0,-60} => ", BitConverter.ToString(File.ReadAllBytes(path)));

      using (var buffer = new MemoryStream()) {
        // 出力したファイルをBomTransparentStreamで読み込む
        using (var bomTransparentStream = new BomTransparentStream(path, discardBom: true /*BOMは除去する*/)) {
          bomTransparentStream.CopyTo(buffer); // 内容をbufferにコピー
        }

        using (var fileStream = File.OpenWrite(path)) {
          fileStream.SetLength(0L); // truncate

          buffer.Position = 0L;
          buffer.CopyTo(fileStream); // bufferの内容をコピー(ファイルに上書き)
        }
      }

      // 出力したファイル内容を16進形式で表示
      Console.WriteLine(BitConverter.ToString(File.ReadAllBytes(path)));
    }
  }

  static readonly Encoding shift_jis =
#if NETFRAMEWORK
    Encoding.GetEncoding("shift_jis");
#else
    // `dotnet add sample.csproj package System.Text.Encoding.CodePages`
    CodePagesEncodingProvider.Instance.GetEncoding("shift_jis");
#endif
}

EF-BB-BF-E6-97-A5-E6-9C-AC-E8-AA-9E                          => E6-97-A5-E6-9C-AC-E8-AA-9E
E6-97-A5-E6-9C-AC-E8-AA-9E                                   => E6-97-A5-E6-9C-AC-E8-AA-9E
FE-FF-65-E5-67-2C-8A-9E                                      => 65-E5-67-2C-8A-9E
65-E5-67-2C-8A-9E                                            => 65-E5-67-2C-8A-9E
FF-FE-E5-65-2C-67-9E-8A                                      => E5-65-2C-67-9E-8A
E5-65-2C-67-9E-8A                                            => E5-65-2C-67-9E-8A
00-00-FE-FF-00-00-65-E5-00-00-67-2C-00-00-8A-9E              => 00-00-65-E5-00-00-67-2C-00-00-8A-9E
00-00-65-E5-00-00-67-2C-00-00-8A-9E                          => 00-00-65-E5-00-00-67-2C-00-00-8A-9E
FF-FE-00-00-E5-65-00-00-2C-67-00-00-9E-8A-00-00              => E5-65-00-00-2C-67-00-00-9E-8A-00-00
E5-65-00-00-2C-67-00-00-9E-8A-00-00                          => E5-65-00-00-2C-67-00-00-9E-8A-00-00
93-FA-96-7B-8C-EA                                            => 93-FA-96-7B-8C-EA

using System;
using System.IO;
using System.Text;

class Sample {
  static void Main()
  {
    var encodings = new Encoding[] {
      new UTF8Encoding(encoderShouldEmitUTF8Identifier: true),
      new UTF8Encoding(encoderShouldEmitUTF8Identifier: false),
      new UnicodeEncoding(bigEndian: true, byteOrderMark: true),
      new UnicodeEncoding(bigEndian: true, byteOrderMark: false),
      new UnicodeEncoding(bigEndian: false, byteOrderMark: true),
      new UnicodeEncoding(bigEndian: false, byteOrderMark: false),
      new UTF32Encoding(bigEndian: true, byteOrderMark: true),
      new UTF32Encoding(bigEndian: true, byteOrderMark: false),
      new UTF32Encoding(bigEndian: false, byteOrderMark: true),
      new UTF32Encoding(bigEndian: false, byteOrderMark: false),
      shift_jis,
    };

    const string contents = "日本語";
    const string path = "out.txt";

    foreach (var encoding in encodings) {
      // 各種Encoding+BOMあり/なしでファイルに書き込む
      File.WriteAllText(path, contents, encoding);

      using (var bomTransparentStream = new BomTransparentStream(path, discardBom: false /*BOMは維持する*/)) {
        bomTransparentStream.ReadPreamble(); // Streamの先頭4バイトを読み込み、Encodingの自動判別を行う

        var e = bomTransparentStream.DetectedEncoding; // 自動判別されたEncodingを取得する

        Console.Write($"{e.WebName,12} {(e.Preamble.Length == 0 ? "   " : "BOM")} : ");

        // BinaryReaderでStreamの内容を読み込む
        var reader = new BinaryReader(bomTransparentStream);

        Console.WriteLine(BitConverter.ToString(reader.ReadBytes((int)bomTransparentStream.Length)));
      }
    }
  }

  static readonly Encoding shift_jis =
#if NETFRAMEWORK
    Encoding.GetEncoding("shift_jis");
#else
    // `dotnet add sample.csproj package System.Text.Encoding.CodePages`
    CodePagesEncodingProvider.Instance.GetEncoding("shift_jis");
#endif
}

       utf-8 BOM : EF-BB-BF-E6-97-A5-E6-9C-AC-E8-AA-9E
       utf-8     : E6-97-A5-E6-9C-AC-E8-AA-9E
    utf-16BE BOM : FE-FF-65-E5-67-2C-8A-9E
       utf-8     : 65-E5-67-2C-8A-9E
      utf-16 BOM : FF-FE-E5-65-2C-67-9E-8A
       utf-8     : E5-65-2C-67-9E-8A
    utf-32BE BOM : 00-00-FE-FF-00-00-65-E5-00-00-67-2C-00-00-8A-9E
       utf-8     : 00-00-65-E5-00-00-67-2C-00-00-8A-9E
      utf-32 BOM : FF-FE-00-00-E5-65-00-00-2C-67-00-00-9E-8A-00-00
       utf-8     : E5-65-00-00-2C-67-00-00-9E-8A-00-00
       utf-8     : 93-FA-96-7B-8C-EA

using System;
using System.IO;
using System.Text;

class Sample {
  static void Main()
  {
    var encodings = new Encoding[] {
      new UTF8Encoding(encoderShouldEmitUTF8Identifier: true),
      new UTF8Encoding(encoderShouldEmitUTF8Identifier: false),
      new UnicodeEncoding(bigEndian: true, byteOrderMark: true),
      new UnicodeEncoding(bigEndian: true, byteOrderMark: false),
      new UnicodeEncoding(bigEndian: false, byteOrderMark: true),
      new UnicodeEncoding(bigEndian: false, byteOrderMark: false),
      new UTF32Encoding(bigEndian: true, byteOrderMark: true),
      new UTF32Encoding(bigEndian: true, byteOrderMark: false),
      new UTF32Encoding(bigEndian: false, byteOrderMark: true),
      new UTF32Encoding(bigEndian: false, byteOrderMark: false),
      shift_jis,
    };
    const string text = "日本語";

    foreach (var encoding in encodings) {
      // 各種Encoding+BOMあり/なしでMemoryStreamに書き込む
      Console.Write($"{encoding.WebName,12} {(encoding.Preamble.Length == 0 ? "   " : "BOM")} => ");

      using var stream = new MemoryStream();

      using (var writer = new StreamWriter(stream, encoding, leaveOpen: true)) {
        writer.Write(text);
      }

      stream.Position = 0L;

      // BOMによるEncodingの自動判別を有効にしてMemoryStreamから読み込む
      using (var bomTransparentStream = new BomTransparentStream(stream, discardBom: true)) {
        // Streamの先頭4バイトを読み込み、Encodingの自動判別を行う
        bomTransparentStream.ReadPreamble();

        // 自動判別されたEncodingを参照する
        var e = bomTransparentStream.DetectedEncoding;

        Console.Write($"{e.WebName,12} {(e.Preamble.Length == 0 ? "   " : "BOM")} : ");

        // 自動判別されたEncodingに基づいてStreamReaderを作成、内容を読み込む
        using (var reader = new StreamReader(bomTransparentStream, encoding: bomTransparentStream.DetectedEncoding)) {
          Console.WriteLine(reader.ReadToEnd());
        }
      }
    }
  }

  static readonly Encoding shift_jis =
#if NETFRAMEWORK
    Encoding.GetEncoding("shift_jis");
#else
    // `dotnet add sample.csproj package System.Text.Encoding.CodePages`
    CodePagesEncodingProvider.Instance.GetEncoding("shift_jis");
#endif
}

       utf-8 BOM =>        utf-8 BOM : 日本語
       utf-8     =>        utf-8     : 日本語
    utf-16BE BOM =>     utf-16BE BOM : 日本語
    utf-16BE     =>        utf-8     : e�g,��
      utf-16 BOM =>       utf-16 BOM : 日本語
      utf-16     =>        utf-8     : �e,g��
    utf-32BE BOM =>     utf-32BE BOM : 日本語
    utf-32BE     =>        utf-8     : e�g,��
      utf-32 BOM =>       utf-32 BOM : 日本語
      utf-32     =>        utf-8     : �e,g��
   shift_jis     =>        utf-8     : ���{�