昌小澤的秘密基地

寫在前面:
這只是我這幾天唸書的讀書筆記
裡面有些是我的猜測 有些寫的並不是很嚴謹 或很正確
所以不要看的太認真 (當然如果發現有錯誤的話 非常希望你能提醒我 感謝)
　　　　　　　　　　　　　　　　　　　　被之前真的有網友留言問問題給嚇到的 昌小澤 留

==========進入正文==========

在 R^n 上討論 norm 的目的, 主要是因為他可以提供 R^n 上兩點間距離的計算方式
而有了距離之後 R^n 跟這個 norm, 就可以組成一個 metric space (賦距空間)
然後在高微的那些東西就可以進到 R^n 裡 (不過我不打算寫到這個 有也是以後的事)
在這一篇文章中 主要是介紹 vector norm 的定義 以及 Holder 不等式

所以先來定義向量的 norm:
令 f 是一個 R^n -> R 的函數, 若 f 符合下面三個條件, 則稱 f 是一個在 R^n 空間的 vector norm:
(1) 對所有在 R^n 的元素 x, 恆有 f(x) >= 0.
　　(也就是說 所有 R^n 裡的元素, 他們的 norm 並定是非負的實數)
　　(一個重要的結果: f(x) = 0 若且唯若 x = 0 )
(2) 若 x 和 y 是 R^n 裡的元素, 則 f(x + y) <= f(x) + f(y).
　　(也就是所謂的三角不等式)
(3) 若 a 是一個實數, x 是 R^n 裡的元素, 則 f(ax) = |a|f(x).
為了方便起見, 我們用 ||x|| 符號來表示 x 的 norm, 即 f(x) = ||x||.

在 R^n 空間裡, 我們常用的 norm 是所謂的 p-norm:
令向量 x = (x_1, x_2, ... , x_n)^T 屬於 R^n, 則向量 x 的 p-norm 定義為
,
其中 p >= 1.
因此, 我們可以得到所謂的 1-norm, 2-norm 和 infinite-norm:
(1) 1-norm:
(2) 2-norm: (也就是歐基理德距離)
(3) infinite-norm:

接下來就是重頭戲了!
向量的 norm 有一個很重要的不等式是一定得介紹的, 就是所謂的 Holder 不等式:
Holder inequality:
　令向量 x 和向量 y 屬於 R^n, 則
|向量 x 和向量 y 的內積| <= ||x||_p * ||y||_q, 其中 1/p + 1/q = 1.
這個定理要直接證明並不容易 比較簡單的做法是借用下面的這個不等式
Young inequality:
　令 p 和 q 皆為大於 0 的實數, 而且 1/p + 1/q = 1, 則對於任意兩實數 a 和 b, 恆有
a * b <= (1/p) * (a^p) + (1/q) * (b^q).
先來證明 Young 不等式.
Proof of Young inequality:
證明這個定理時, 我們會借用到"對數函數的圖形其凹口恆向下"這件事情,
也就是說, 對於所有介於 0 到 1 之間的數 λ,
(1) λa + (1 - λ)b 一定介於 a 和 b 之間
(2) log(λa + (1 - λ)b) >= λ * log(a) + (1 - λ) * log(b). (因對數函數的圖形其凹口恆向下)
現在, 我們對 Young 不等式的兩邊分別取上對數, 故得到
log(a * b) = log(a) + log(b) = (1/p) * log(a^p) + (1/q) * log(b^q). (故意拆成這樣) 因為 1/p + 1/q = 1, 故取 λ = 1/p, 則 (1-λ) = 1/q, 套用 (2) 的結果, 得到 log(a * b) = (1/p) * log(a^p) + (1/q) * log(b^q) <= log((1/p)* (a^p) + (1/q) * (b^q)). 因為對數函數為嚴格遞增函數, 因此兩邊去掉 log 後得到 a * b <= (1/p) * (a^p) + (1/q) * (b^q). ■
有了 Young 不等式後, 我們就可以這樣來看 Holder 不等式.
Proof of Holder inequality:
我們不是直接證明 |向量 x 和向量 y 的內積| <= ||x||_p * ||y||_q, 而是證明
. 因此,
其中, 第一個 <= 是利用三角不等式, 第二個 <= 則是利用 Young 不等式. ■

當 Holder 不等式中的 p = 2 的時候, 就是我們所熟悉的"柯西不等式".
Cauchy-Schwartz inequality:
　令向量 x 和向量 y 屬於 R^n, 則 |向量 x 和向量 y 的內積| <= ||x||_2 * ||y||_2.

(第一篇 完)