文字列をソートする際、場合によっては大文字小文字の違いをどう扱うか厳密に決める必要が出て来ます。　その場合は、StringComparerを使ってどう扱うかを指定することができます。　Sortメソッド、OrderByメソッドともにIComparerを引数に取ることができ、これにStringComparerを指定することで、文字列比較の際の動作を指定できます。

OrderBy + IComparerによって大文字・小文字の違いを考慮したソートを行う
Imports System
Imports System.Collections.Generic
Imports System.Linq

Class Sample
  Shared Sub Main()
    Dim list As New List(Of String)(New String() { _
      "ab", "ABC", "AA", "a", "aa", "abc", "A" _
    })

    ' 大文字・小文字の違いを無視してソート
    For Each str As String In list.OrderBy(Function(s) s, StringComparer.OrdinalIgnoreCase)
      Console.Write("{0}, ", str)
    Next
    Console.WriteLine()

    ' 大文字・小文字の違いを意識してソート
    For Each str As String In list.OrderBy(Function(s) s, StringComparer.Ordinal)
      Console.Write("{0}, ", str)
    Next
    Console.WriteLine()
  End Sub
End Class
実行結果
a, A, AA, aa, ab, ABC, abc
A, AA, ABC, a, aa, ab, abc

なお、IComparerについては大小関係の定義と比較、StringComparerについて文字列と比較オプション・カルチャの並べ替え規則で詳しく解説しています。