HashSetクラス・SortedSetクラスともに、Listなどの他のコレクションクラスと共通するAdd, Remove, Contains, Clearなどのメソッドが用意されています。　IEnumerable<T>インターフェイスを実装しているため、foreach/For Eachステートメントで要素を列挙することもできます。

そのため、重複する値が単一の要素として扱われる以外は、他のコレクションクラスと同様に扱うことができます。　また、SortedSetでは自動的に並べ替えが行われる点を除けば、動作と結果もHashSetと同じです。

SortedSetでの要素の追加・削除・検索
Imports System
Imports System.Collections.Generic

Class Sample
  Shared Sub Main()
    Dim s As New SortedSet(Of Integer) From {3, 1, 6, 4, 0}

    Console.WriteLine(String.Join(", ", s))

    ' 要素を追加
    s.Add(2)

    Console.WriteLine(String.Join(", ", s))

    ' 要素を削除
    s.Remove(6)

    Console.WriteLine(String.Join(", ", s))

    ' 値5が含まれているか
    Console.WriteLine("Contains 5? {0}", s.Contains(5))
  End Sub
End Class
実行結果
0, 1, 3, 4, 6
0, 1, 2, 3, 4, 6
0, 1, 2, 3, 4
Contains 5? False