茫茫網海中的冷日
         
茫茫網海中的冷日
發生過的事,不可能遺忘,只是想不起來而已!
 恭喜您是本站第 1676212 位訪客!  登入  | 註冊
主選單

Google 自訂搜尋

Goole 廣告

隨機相片
F09_553.jpg

授權條款

使用者登入
使用者名稱:

密碼:


忘了密碼?

現在就註冊!

小企鵝開談 : [轉貼]APACHE 調校

發表者 討論內容
冷日
(冷日)
Webmaster
  • 註冊日: 2008/2/19
  • 來自:
  • 發表數: 15771
[轉貼]APACHE 調校
APACHE 調校
2006/02/15,10:20
談到 Apache,大多數系統管理員對其穩定版1.3印象頗深。雖然 Apache 2.0的系列開發版早已由Alpha、Beta發展到現在的GA(General Availability)版,但是一些人潛意識裡還認為開發版並非可用於生產環境的穩定版本。尤其是1.3版的API與2.0版不相容,使得大量模塊必須要重寫才能在2.0版上使用。 Apache 1.3和2.0之間的內部變化的確較大,用 Apache創始人Brian Behlendorf自己的話來說:「這個版本包括了數百個新的特性,所以這個產品應該具有3.1或8i這樣的產品編號,而不是2.0。」 Apache 2.0中加入了很多的核心改進和新功能,如Unix線程、多協議支援、新的構建系統、對非Unix平台的更佳支援、IPv6支援、新的 Apache API、過濾器、多語言錯誤響應、原生的Windows NT Unicode支援、更簡單化的配置,以及升級的正則表達式庫等。它當然還包括對許多模塊的重要改進,同時也加入了一些新的模塊。為了使 Apache更加平滑地從1.3版升級到2.0版, Apache開發團隊做了很多工作。目前很多重要的模塊已經可以很好地支援2.0版,如 PHP、FastCGI、Mod_perl、Mod_python等。在httpd.conf的指令配置語法上,目前的2.0版(2.0.45)與1.3版的相容性已做得相當好。比如,以前的2.0版如果要使用 PHP,一般用過濾器實現;現在的
PHP官方文檔中已經使用1.3版中的LoadModule語句做為加載 PHP的推薦方式。只要略微瞭解一下 Apache 2.0的新特性,從1.3版升級到2.0版將是一件非常容易的事情。使用 Apache 2.0是大勢所趨,因為 Apache的開發團隊已經把開發重心轉移到2.0版上。1.3版自2002年10月發佈了1.3.27後一直沒有新版本推出,而2.0版在與1.3.27同時發佈2.0.43後,在今年1月發佈了2.0.44,並於今年3月末發佈了2.0.45,並包含了很多改進和修正。

  MPM的引入帶來性能改善

   Apache 2.0在性能上的改善最吸引人。在支援POSIX線程的Unix系統上, Apache可以通過不同的MPM運行在一種多進程與多線程相混合的模式下,增強部分配置的可擴充性能。相比於 Apache 1.3,2.0版本做了大量的優化來提升處理能力和可伸縮性,並且大多數改進在預設狀態下即可生效。但是在編譯和運行時刻,2.0也有許多可以顯著提高性能的選擇。本文不想敘述那些以功能換取速度的指令,如HostnameLookups等,而只是說明在2.0中影響性能的最核心特性:MPM(Multi-Processing Modules,多道處理模塊)的基本工作原理和配置指令。

  毫不誇張地說,MPM的引入是 Apache 2.0最重要的變化。大家知道, Apache是基於模塊化的設計,而 Apache
2.0更擴展了模塊化設計到Web服務器的最基本功能。服務器裝載了一種多道處理模塊,負責綁定本機網路端口、接受請求,並調度子進程來處理請求。擴展模塊化設計有兩個重要好處:

  ◆ Apache可以更簡潔、有效地支援多種操作系統;

  ◆ 服務器可以按站點的特殊需要進行自定制。

  在用戶級,MPM看起來和其它 Apache模塊非常類似。主要區別是在任意時刻只能有一種MPM被裝載到服務器中。

  指定MPM的方法

  下面以Red Hat Linux 9為平台,說明在 Apache 2.0中如何指定MPM ( Apache採用2.0.45)。先解壓縮源代碼包httpd-2.0.45.tar.gz,生成httpd-2.0.45目錄( Apache 1.3源代碼包的命名規則是apache_1.3.NN.tar.gz,而2.0版則是httpd-2.0.NN.tar.gz,其中NN是次版本號)。

  進入httpd-2.0.45目錄,運行以下代碼:

$ ./configure --help|grep mpm

  顯示如下:

--with-mpm=MPM
Choose the process model for Apache
to use.
MPM={beos|worker|prefork|mpmt_os2| perchild|leader|threadpool}


  上述操作用來選擇要使用的進程模型,即哪種MPM模塊。Beos、mpmt_os2分別是BeOS和OS/2上缺省的MPM,perchild主要設計目的是以不同的用戶和組的身份來運行不同的子進程。這在運行多個需要CGI的虛擬主機時特別有用,會比1.3版中的SuExec機制做得更好。leader和threadpool都是基於worker的變體,還處於實驗性階段,某些情況下並不會按照預期設想的那樣工作,所以 Apache官方也並不推薦使用。因此,我們主要闡述prefork和worker這兩種和性能關係最大的產品級MPM ( 有關其它的MPM詳細說明,請參見 Apache官方文檔: http://httpd.apache.org/docs-2.0/mod/)。

  prefork的工作原理及配置

  如果不用「--with-mpm」顯式指定某種MPM,prefork就是Unix平台上缺省的MPM。它所採用的預派生子進程方式也是 Apache 1.3中採用的模式。prefork本身並沒有使用到線程,2.0版使用它是為了與1.3版保持相容性;另一方面,prefork用單獨的子進程來處理不同的請求,進程之間是彼此獨立的,這也使其成為最穩定的MPM之一。

  若使用prefork,在make編譯和make install安裝後,使用「httpd -l」來確定當前使用的MPM,應該會看到prefork.c(如果看到worker.c說明使用的是worker MPM,依此類推)。再查看缺省生成的httpd.conf配置檔案,裡面包含如下配置段:



StartServers 5
MinSpareServers 5
MaxSpareServers 10
MaxClients 150
MaxRequestsPerChild 0


  prefork的工作原理是,控制進程在最初建立「StartServers」個子進程後,為了滿足MinSpareServers設置的需要創建一個進程,等待一秒鐘,繼續創建兩個,再等待一秒鐘,繼續創建四個……如此按指數級增加創建的進程數,最多達到每秒32個,直到滿足MinSpareServers設置的值為止。這就是預派生(prefork)的由來。這種模式可以不必在請求到來時再產生新的進程,從而減小了系統開銷以增加性能。

  MaxSpareServers設置了最大的空閒進程數,如果空閒進程數大於這個值, Apache會自動kill掉一些多餘進程。這個值不要設得過大,但如果設的值比MinSpareServers小, Apache會自動把其調整為MinSpareServers+1。如果站點負載較大,可考慮同時加大MinSpareServers和MaxSpareServers。

  MaxRequestsPerChild設置的是每個子進程可處理的請求數。每個子進程在處理了「MaxRequestsPerChild」個請求後將自動銷毀。0意味著無限,即子進程永不銷毀。雖然缺省設為0可以使每個子進程處理更多的請求,但如果設成非零值也有兩點重要的好處:

  ◆ 可防止意外的記憶體洩漏;

  ◆ 在服務器負載下降的時侯會自動減少子進程數。

  因此,可根據服務器的負載來調整這個值。筆者認為10000左右比較合適。

  MaxClients是這些指令中最為重要的一個,設定的是 Apache可以同時處理的請求,是對 Apache
性能影響最大的參數。其缺省值150是遠遠不夠的,如果請求總數已達到這個值(可通過ps -ef|grep http|wc -l來確認),那麼後面的請求就要排隊,直到某個已處理請求完畢。這就是系統資源還剩下很多而HTTP訪問卻很慢的主要原因。系統管理員可以根據硬體配置和負載情況來動態調整這個值。雖然理論上這個值越大,可以處理的請求就越多,但 Apache預設的限制不能大於256。如果把這個值設為大於256,那麼 Apache將無法起動。事實上,256對於負載稍重的站點也是不夠的。在 Apache 1.3中,這是個硬限制。如果要加大這個值,必須在「configure」前手工修改的源代碼樹下的src/include/httpd.h中查找256,就會發現「#define HARD_SERVER_LIMIT 256」這行。把256改為要增大的值(如4000),然後重新編譯 Apache即可。在 Apache 2.0中新加入了ServerLimit指令,使得無須重編譯 Apache就可以加大MaxClients。下面是筆者的prefork配置段:


StartServers 10
MinSpareServers 10
MaxSpareServers 15
ServerLimit 2000
MaxClients 1000
MaxRequestsPerChild 10000



  上述配置中,ServerLimit的最大值是20000,對於大多數站點已經足夠。如果一定要再加大這個數值,對位於源代碼樹下server/mpm/prefork/prefork.c中以下兩行做相應修改即可:

#define DEFAULT_SERVER_LIMIT 256
#define MAX_SERVER_LIMIT 20000


  worker的工作原理及配置

  相對於prefork,worker是2.0 版中全新的支援多線程和多進程混合模型的MPM。由於使用線程來處理,所以可以處理相對海量的請求,而系統資源的開銷要小於基於進程的服務器。但是,worker也使用了多進程,每個進程又生成多個線程,以獲得基於進程服務器的穩定性。這種MPM的工作方式將是 Apache 2.0的發展趨勢。

  在configure -with-mpm=worker後,進行make編譯、make install安裝。在缺省生成的httpd.conf中有以下配置段:


StartServers 2
MaxClients 150
MinSpareThreads 25
MaxSpareThreads 75
ThreadsPerChild 25
MaxRequestsPerChild 0



  worker的工作原理是,由主控制進程生成「StartServers」個子進程,每個子進程中包含固定的ThreadsPerChild線程數,各個線程獨立地處理請求。同樣,為了不在請求到來時再生成線程,MinSpareThreads和MaxSpareThreads設置了最少和最多的空閒線程數;而MaxClients設置了所有子進程中的線程總數。如果現有子進程中的線程總數不能滿足負載,控制進程將派生新的子進程。

  MinSpareThreads和MaxSpareThreads的最大缺省值分別是75和250。這兩個參數對
Apache的性能影響並不大,可以按照實際情況相應調節。

  ThreadsPerChild是worker MPM中與性能相關最密切的指令。ThreadsPerChild的最大缺省值是64,如果負載較大,64也是不夠的。這時要顯式使用ThreadLimit指令,它的最大缺省值是20000。上述兩個值位於源碼樹server/mpm/worker/worker.c中的以下兩行:

#define DEFAULT_THREAD_LIMIT 64
#define MAX_THREAD_LIMIT 20000

  這兩行對應著ThreadsPerChild和ThreadLimit的限制數。最好在configure之前就把64改成所希望的值。注意,不要把這兩個值設得太高,超過系統的處理能力,從而因 Apache不起動使系統很不穩定。

  Worker模式下所能同時處理的請求總數是由子進程總數乘以ThreadsPerChild值決定的,應該大於等於MaxClients。如果負載很大,現有的子進程數不能滿足時,控制進程會派生新的子進程。預設最大的子進程總數是16,加大時也需要顯式聲明ServerLimit(最大值是20000)。這兩個值位於源碼樹server/mpm/worker/worker.c中的以下兩行:

#define DEFAULT_SERVER_LIMIT 16
#define MAX_SERVER_LIMIT 20000

  需要注意的是,如果顯式聲明了ServerLimit,那麼它乘以ThreadsPerChild的值必須大於等於MaxClients,而且MaxClients必須是ThreadsPerChild的整數倍,否則 Apache將會自動調節到一個相應值(可能是個非期望值)。下面是筆者的worker配置段:



StartServers 3
MaxClients 2000
ServerLimit 25
MinSpareThreads 50
MaxSpareThreads 200
ThreadLimit 200
ThreadsPerChild 100
MaxRequestsPerChild 0


  通過上面的敘述,可以瞭解到 Apache 2.0中prefork和worker這兩個重要MPM的工作原理,並可根據實際情況來配置 Apache相關的核心參數,以獲得最大的性能和穩定性。

原文出處: Rex Space's - APACHE 調校
冷日
(冷日)
Webmaster
  • 註冊日: 2008/2/19
  • 來自:
  • 發表數: 15771
[分享]Apache Tuning
Apache Tuning
小弟最近管理某單位的伺服器群,最近遇到了連線數的瓶頸,很多時候網頁的回應是慢得可以,或是直接停止回應,後來進入系統觀察時發現 CPU 和 Memory 也沒有達到巔峰,因此決定動手調整 Apache

加入 mpm worker 模組
Apache 2.0 許多功能和改進,編譯時要開啟 worker mpm 模組,否則為了和 Apache 1.3 相容會自動選擇 prefork 模式。如下圖所示,紅色的 --with-mpm=worker 是重要的參數值。
steven $ ./configure --prefix=/usr/local/httpd --enable-isapi --enable-file-
cache --enable-echo --disable-charset-lite --enable-charset-lite --enable-cache
--enable-disk-cache --enable-mem-cache --enable-example --enable-case-filter --
enable-case-filter-in --enable-dumpio --enable-auth-ldap --enable-ext-filter --
enable-deflate --enable-log-forensic --enable-logio --enable-mime-magic --

enable-headers --enable-proxy --enable-proxy-connect --enable-proxy-ftp --
enable-proxy-http --enable-ssl --enable-optional-hook-export --enable-optional-
hook-import --enable-optional-fn-import --enable-http --enable-cgi --enable-cgid
--enable-speling --enable-rewrite --enable-so --with-suexec-uidmin --with-
suexec-gidmin --with-suexec-logfile --with-suexec-safepath --enable-static-
htpasswd --enable-static-htdigest --enable-static-rotatelogs --enable-static-
logresolve --with-mpm=worker

讓你的機器發揮到極致
在一個高等級的硬體設備下(Intel 64 位元 CPU x 2、2G RAM),以下的設定在同一時間可以處理 5000 個連線(其實還可以容許更多)。
root # vi /usr/local/httpd/conf/extra/httpd-mpm.conf
-------------------------------------------------------
# Apache 啟動時先開啟 3 Threads
StartServers 3
MaxClients 5000
# 最大的連線數
ServerLimit 50
MinSpareThreads 50
MaxSpareThreads 200
ThreadLimit 200
ThreadsPerChild 100
MaxRequestsPerChild 200
-------------------------------------------------------
root #

關於 mpm worker 的設定技巧,可以參考 Apache 手冊。

減少不必的等待

當然,為了效能,我建議關閉 DNS 的查尋和提高 MaxKeepAliveRequests 的選項並且把 Timeout 值 調低。
root # vi /usr/local/httpd/conf/extra/httpd-default.conf
-------------------------------------------------------
# 連線超過 60 秒失敗就重試
Timeout 60
# 開啟 KeepAlive
KeepAlive On
# 設定同一時間可容許的 KeppAlive
MaxKeepAliveRequests 5000
# KeepAlive 多久要自動 Timeout
KeepAliveTimeout 3
# 關掉那費時的 DNS 查尋
HostnameLookups Off
-------------------------------------------------------
root #

連線設定需要考量到很多因素,在早期大部份的網路使用者頻寬都不夠大,所以一旦你設定太短的 Timeout 值就有可能會馬上讓使用者需要再次重新連線。但是現今網路使用者大部份以 ADSL 上網,所以等待時間應該不用這麼的久。

小弟所調整這些情況,其客戶端大部份為學術單位、政府單位,所以對這些大頻寬的使用者,太久的 Timeout 值有可能會變成一種不必要的資源浪費。

note:
為什麼 Timeout 值要縮短,在一個大流量的網路服務(良好的硬體設備,高頻寬的網路速度)在同一時間是需要能夠服務更多的使用者,如果 Timeout 太高,那麼在連線佔滿時下一個連線請求就要等到有連線結束掉才能夠被服務;相反的若設定太低那麼就要常常重新連線。不過重新連線一般的使用者並不會有太大的感覺(TCP/IP 的三向交握很快),所以不要讓伺服器一直在等待沒有請求的連線。
當一個連線被建立之後,使用者很有可能會在短時間之內又提出新的請求,所以為了避免再次的連線,就會在本次要求結束後,保持連線 KeepAliveTimeout 秒,若是超過了 KeepAliveTimeout秒,其 Timeout 就會轉交給連線逾時,也就是 Timeout 秒之後,會自動斷掉連線。

讓你的 Apache 更靠近 CPU
在一台設備良好的伺服器上,上面如果只有一項服務的話,那麼就應該把大部份的資源都留給它,比方說Web服務。
在 Linux 上,根據啟動時加以調整 nice 值也可以讓 Apache 的處理速度快一點。
nice 的調整範圍是在 -20 +19 之間,如果不設定的設所有服務都是在 0。nice 的關念,就是它的值越低,就離 CPU 越近,那麼就跟容易取得 CPU 的資源,相反的在正數越高(+1 +19)越不容易得到回應。
啟動 apache 時就把 nice 值 調到 -10

root # nice -10 /usr/local/httpd/bin/apachectl start &
如果系統已經在啟動的話,可以使用 renice 來重新設定其 nice 值。
找出 apache 的 PID,並重新設定
root # netstat -ntulp | grep httpd
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 19249/httpd
root # renice -10 19249
當你調整完畢之後,可以使用 top 指令查看 NI 欄位的變化。

取消不必要的服務
把不要必要的服務全部都關掉以便適出更多的可用資源讓 Apache 使用,當系統安裝時,大部份的系統建置者通常會把所有的套件都裝上去,以免未來要使用的功能不齊全,當然這是我們無法阻止的,但是我們卻可以控制系統的服務。
如果你使用 Redhat/Fedora 系統 Linux OS 的話,可以使用 chkconfig 來看看系統啟動時到底有那些服務被開啟。
root $ chkconfig --list
以上略 r
acpid 0:off 1:off 2:off 3:on 4:on 5:on 6:off
ipchains 0:off 1:off 2:on 3:off 4:on 5:on 6:off
iptables 0:off 1:off 2:on 3:off 4:on 5:on 6:off
crond 0:off 1:off 2:on 3:on 4:on 5:on 6:off
anacron 0:off 1:off 2:on 3:off 4:off 5:off 6:off
lpd 0:off 1:off 2:on 3:off 4:on 5:off 6:off
xfs 0:off 1:off 2:on 3:off 4:on 5:on 6:off
ntpd 0:off 1:off 2:off 3:off 4:off 5:off 6:off
portmap 0:off 1:off 2:off 3:off 4:on 5:on 6:off
xinetd 0:off 1:off 2:off 3:on 4:on 5:on 6:off
autofs 0:off 1:off 2:off 3:off 4:on 5:on 6:off
nfs 0:off 1:off 2:off 3:off 4:off 5:off 6:off
nfslock 0:off 1:off 2:off 3:off 4:on 5:off 6:off
identd 0:off 1:off 2:off 3:off 4:off 5:off 6:off
以下略 r
使用 chkconfig 可以看到各服務在系統那個 system level 時會被關閉或開啟。如果你的機器只有單純的服務網頁服務,那麼就不應該要有NFS、telnet、ldap、samba、lpd、cups、mysql 或會佔用大量記憶體及 CPU 資源的程式,尤其是像資料庫服務。

以下示範如何把 MySQL 在開機時不啟動。
root # chkconfig mysqld off
如果 MySQL 正在執行,要把它關閉的話。
root # service mysqld stop
root # /etc/init.d/mysqld stop

重新編譯 Apache!
如果你對於系統廠商所附的套件不滿意,或是想要轉到新版本的 Apache 時,那麼就要編譯一下 Apache,在編譯時可能需要注意一些事項:
•不要把所有的模組都編上去
•確認你的 GCC 版本

不要把所有的模組都編上去
如果一開始就決定要使用 JSP 開發程式,那麼就不需要把 PHP 模組都套進來;若不需要使用到 LDAP 認證,那也不需要把 LDAP 的模組也一起編進來,總之,在編譯你的 Apache 之前,那麼就應該要先確認環境狀況而不是一頭腦的全都加進去。

確認你的 GCC 版本

說真的,小弟對於程式並不是很熟,所以無法明確的指出 GCC 版本對於編譯出來的程式有什麼樣的結果。不過可以證實的是,有些新版本的 GCC 在編譯時,可以讓程式更小執行更快。

調 時應該注意的事項
當你開始動手調整之前,應該要考慮主機的能力,比方說在記憶體只有 256 MB 的主機要去服務上千個連線這似乎有點勉強,你應該要注意所設定的數值不會超過主機所能負荷的能力,比方說吃掉 90% 的記憶體,那麼到時候可能會得到反效果。
在轉換 Apache 版本之前,最好是可以在一台測伺主機上編譯一次,若有問題時可以有時間解決,否則一旦在正式上線的主機上做這種實驗又沒有備份的情況下,可能會有無法預期的結果出現。
正式在執行你的新 Apache 之後,你應該要特別注意系統的負荷、主機資源的使用、效能是否如預期。如果結果不是在預期之內,應該要試者再做更細微的調整,請仔細閱讀 Apache 網站上的手冊,有時候一些小小的調整可以達到不錯的效果 :) 。

參考資料
這篇文章是小弟在工作時實戰的心得,因此會有很多疏忽的地方,如果有錯也請大家不吝指教。
以下為一些參考資料:
•For more articles, please visit http://www.l-penguin.idv.tw/steven/

作者:廖子儀 (Tzu-Yi Liao)
Certified:LPIC Level I、LPIC Level II、RHCE
Web site:Steven's Linux Note (http://www.l-penguin.idv.tw/steven/)
冷日
(冷日)
Webmaster
  • 註冊日: 2008/2/19
  • 來自:
  • 發表數: 15771
[轉貼]Apache 加速瀏覽調校篇
Apache 加速瀏覽調校篇

今天在 PCZONE 的網站逛了一下,發現站長(以前應該是阿土伯)有幫人做一些主機架設的服務,用的是我最愛的 FreeBSD 喔 !!

裡面有關 Apache Server 的地方寫著「安裝網頁壓縮模組 (有效節省3~4成網站對外頻寬)」,這幾個字眼就吸引到我了 ~

於是上 Google 找了幾篇文章來拜讀一下,找到不少文章 ~

一般常看到加速網頁瀏覽的方式就是將所要傳輸的資料壓縮,這樣便可以減少資料量的傳輸,進而提昇 Web Sever 的效能

在 Apache 上面使用的方法有二種:
mod_gzip
mod_deflate

而在 Apache 2.x 以後的版本就內含 mod_deflate 了,且效能不比 mod_gzip 差(mod_gzip好像是用在 Apache 1.3.x,沒有研究了)

因此偶又花了一些時間重新 compiler 一次即可,參數如下 :
./configure --prefix=/www --enable-so --enable-ssl --enable-deflate


接著在 httpd.conf 加入這幾行的設定
DeflateCompressionLevel 9
AddOutputFilterByType DEFLATE text/html text/plain text/xml application/x-httpd-php
AddOutputFilter DEFLATE css js


上面的設定就是壓縮一些特定的檔案類型,如 html、XML、PHP 等等的檔案,至於圖檔、壓縮檔這些都已經是壓縮過的就毋須再壓囉 ~

ps. 參考的文件都寫著需要加入這一行
LoadModule deflate_module modules/mod_deflate.so


不過我都會出現錯誤訊息
httpd: Syntax error on line 109 of /www/conf/httpd.conf: module deflate_module i s built-in and can't be loaded


可能是我用自行 complier 的因素吧,拿掉就可以正常啟動了,也發現它其實是有被 include 進來的 :D

相關的參數還得要研究一下才可以,若將來有時間再來著手研究吧

原文出處:有為青年生活札記 - Apache 加速瀏覽調校篇
前一個主題 | 下一個主題 | 頁首 | | |



Powered by XOOPS 2.0 © 2001-2008 The XOOPS Project|