GetViewBetweenメソッドを使うと、指定した範囲に該当する部分集合をSortedSet<T>として取得出来ます。

GetViewBetweenメソッドを使ってSortedSet内の指定した範囲にある数値の部分集合を取得する
Imports System
Imports System.Collections.Generic

Class Sample
  Shared Sub Main()
    Dim s As New SortedSet(Of Integer) From {5, 1, 0, 3, 4, 2}

    ' 最小で1、最大で4の範囲に該当する部分集合を取得する
    Console.WriteLine(String.Join(", ", s.GetViewBetween(1, 4)))
  End Sub
End Class
実行結果
1, 2, 3, 4