RemoveAllメソッドを使って条件に合致するすべての要素をListから削除する(ラムダ式版) 
Imports System
Imports System.Collections.Generic

Class Sample
  Shared Sub Main()
    Dim list As New List(Of String)(New String() {"Alice", "Bob", "Charlie", "Dave", "Eve"})

    ' "li"を含むすべての要素を削除する
    list.RemoveAll(Function(s) s.Contains("li"))

    For Each e As String In list
      Console.WriteLine(e)
    Next
  End Sub
End Class
実行結果
Bob
Dave
Eve