HashSetのコンストラクタで適切なIEqualityComparer<T>インターフェイスを指定することで、要素の等価性比較時の動作をカスタマイズ出来ます。　例えば、比較の際に大文字小文字の違いを無視するようにするといったことが出来ます。　以下は、StringComparerクラスを使って、大文字小文字の違いを無視するHashSetを作成する例です。

StringComparerを指定して大文字小文字の違いを意識する/無視するHashSetを作成する
Imports System
Imports System.Collections.Generic

Class Sample
  Shared Sub Main()
    Dim names() As String = New String() {"Alice", "Bob", "Charlie", "Dave", "Eve"}

    ' 大文字小文字の違いを意識するHashSet
    Dim caseSensitiveSet As New HashSet(Of String)(names, StringComparer.Ordinal)
    ' 大文字小文字の違いを無視するHashSet
    Dim caseInsensitiveSet As New HashSet(Of String)(names, StringComparer.OrdinalIgnoreCase)

    Console.WriteLine(caseSensitiveSet.IsSupersetOf(New String() {"aLiCe", "BOB", "dave"}))
    Console.WriteLine(caseInsensitiveSet.IsSupersetOf(New String() {"aLiCe", "BOB", "dave"}))
  End Sub
End Class
実行結果
False
True

IEqualityComparer<T>インターフェイスや実装例については等価性の定義と比較、StringComparerについては文字列と比較オプション・カルチャの並べ替え規則 §.StringComparison列挙型とStringComparerクラスを参照してください。

SortedSetでは等価性比較だけではなく大小関係の比較も行うため、IEqualityComparer<T>インターフェイスではなくIComparer<T>インターフェイスを要求します。