對這文章發表回應
發表限制: 非會員 可以發表
發表者： 冷日 發表時間： 2013/2/23 6:49:36
應該知道的Linux技巧
2013年1月9日 陳皓 發表
這篇文章來源於Quroa的一個問答《What are some time-saving tips that every Linux user should know?》—— Linux用戶有哪些應該知道的提高效率的技巧。我覺得挺好的，總結得比較好，把其轉過來，並加了一些自己的理解。首先，我想告訴大家，在Unix/Linux下，最有效率技巧的不是操作圖形界面，而是命令行操作，因為命令行意味著自動化。如果你看過《你可能不知道的Shell》以及《28個Unix/Linux的命令行神器》你就會知道Linux有多強大，這個強大完全來自於命令行，於是，就算你不知道怎麼去做一個環保主義的程序員，至少他們可以讓你少熬點夜，從而有利於你的身體健康和性生活。下面是一個有點長的列表，正如作者所說，你並不需要知道所有的這些東西，但是如果你還在很沉重地在使用Linux的話，這些東西都值得你看一看。（注：如果你想知道下面涉及到的命令的更多的用法，你一定要man一點。對於一些命令，你可以需要先yum或apt-get來安裝一下，如果有什麼問題，別忘了Google 。如果你要Baidu的話，我僅代表這個地球上所有的生物包括微生物甚至細菌病毒和小強BS你到宇宙毀滅）
基礎
學習 Bash 。你可以man bash來看看bash的東西，並不復雜也並不長。你用別的shell也行，但是bash是很強大的並且也是系統默認的。（學習zsh或tsch只會讓你在很多情況下受到限制）
學習vim。在Linux下，基本沒有什麼可與之競爭的編譯輯器（就算你是一個Emacs或Eclipse的重度用戶）。你可以看看《簡明vim攻略》和《Vim的冒險遊戲》以及《給程序員的Vim速查卡》還有《把Vim變成一個編程的IDE》等等。
了解ssh。明白不需要口令的用戶認證（通過ssh-agent, ssh-add），學會用ssh翻牆，用scp而不是ftp傳文件，等等。你知道嗎？scp遠端的時候，你可以按tab鍵來查看遠 端的目錄和文件（當然，需要無口令的用戶認證），這都是bash的功勞。
熟悉bash的作業管理，如： &, Ctrl-Z, Ctrl-C, jobs, fg, bg, kill,等等。當然，你也要知道Ctrl+\（SIGQUIT）和Ctrl+C （SIGINT）的區別。
簡單的文件管理： ls和ls -l (你最好知道“ls -l”的每一列的意思), less, head, tail和tail -f, ln和ln -s (你知道明白hard link和soft link的不同和優缺點), chown, chmod, du (如果你想看看磁盤的大小du -sk *), df, mount。當然，原作者忘了find命令。
基礎的網絡管理： ip或ifconfig, dig。當然，原作者還忘瞭如netstat, ping, traceroute,等
理解正則表達式，還有grep/egrep的各種選項。比如： -o, -A,和-B這些選項是很值得了解的。
學習使用apt-get和yum來查找和安裝軟件（前者的經典分發包是Ubuntu，後者的經典分發包是Redhat），我還建議你試著從源碼編譯安裝軟件。
日常
在bash 裡，使用Ctrl-R 而不是上下光標鍵來查找歷史命令。
在bash裡，使用Ctrl-W 來刪除最後一個單詞，使用Ctrl-U 來刪除一行。請man bash後查找Readline Key Bindings一節來看看bash的默認熱鍵，比如：Alt-. 把上一次命令的最後一個參數打出來，而Alt-* 則列出你可以輸入的命令。
回到上一次的工作目錄： cd – （回到home是cd ~）
使用xargs。這是一個很強大的命令。你可以使用-L來限定有多少個命令，也可以用-P來指定並行的進程數。如果你不知道你的命令會變成什麼樣，你可以使用xargs echo來看看會是什麼樣。當然， -I{} 也很好用。示例：
pstree -p可以幫你顯示進程樹。（讀過我的那篇《一個fork的面試題》的人應該都不陌生）
使用pgrep 和pkill 來找到或是kill 某個名字的進程。(-f 選項很有用).
了解可以發給進程的信號。例如：要掛起一個進程，使用kill -STOP [pid]. 使用man 7 signal 來查看各種信號，使用kill -l 來查看數字和信號的對應表
使用nohup 或disown 如果你要讓某個進程運行在後台。
使用netstat -lntp來看看有偵聽在網絡某端口的進程。當然，也可以使用lsof。
在bash的腳本中，你可以使用set -x 來debug輸出。使用set -e 來當有錯誤發生的時候abort執行。考慮使用set -o pipefail 來限制錯誤。還可以使用trap來截獲信號（如截獲ctrl+c）。
在bash 腳本中，subshells (寫在圓括號裡的) 是一個很方便的方式來組合一些命令。一個常用的例子是臨時地到另一個目錄中，例如：
在bash 中，注意那裡有很多的變量展開。如：檢查一個變量是否存在: ${name:?error message}。如果一個bash的腳本需要一個參數，也許就是這樣一個表達式input_file=${1:?usage: $0 input_file}。一個計算表達式： i=$(( (i + 1) % 5 ))。一個序列： {1..10}。截斷一個字符串： ${var%suffix} 和${var#prefix}。示例： if var=foo.pdf, then echo ${var%.pdf}.txt prints “foo.txt”.
通過<(some command) 可以把某命令當成一個文件。示例：比較一個本地文件和遠程文件/etc/hosts： diff /etc/hosts <(ssh somehost cat /etc/hosts)
了解什麼叫“ here documents ” ，就是諸如cat <
在遠端的ssh會話裡，使用screen或dtach來保存你的會話。（參看《28個Unix/Linux的命令行神器》）
要來debug Web，試試curl 和curl -I 或是wget 。我覺得debug Web的利器是firebug，curl和wget是用來抓網頁的，呵呵。
把HTML 轉成文本： lynx -dump -stdin
如果你要處理XML，使用xmlstarlet
對於Amazon S3， s3cmd 是一個很方便的命令（還有點不成熟）
在ssh中，知道怎麼來使用ssh隧道。通過-L or -D (還有-R) ，翻牆神器。
你還可以對你的ssh 做點優化。比如，.ssh/config 包含著一些配置：避免鏈接被丟棄，鏈接新的host時不需要確認，轉發認證，以前使用壓縮（如果你要使用scp傳文件）：
如果你有輸了個命令行，但是你改變注意了，但你又不想刪除它，因為你要在歷史命令中找到它，但你也不想執行它。那麼，你可以按下Alt-# ，於是這個命令關就被加了一個#字符，於是就被註釋掉了。
數據處理
了解sort 和uniq 命令(包括uniq 的-u 和-d 選項).
了解用cut, paste, 和join 命令來操作文本文件。很多人忘了在cut前使用join。
如果你知道怎麼用sort/uniq來做集合交集、並集、差集能很大地促進你的工作效率。假設有兩個文本文件a和b已解被uniq了，那麼，用sort/uniq會是最快的方式，無論這兩個文件有多大（sort不會被內存所限，你甚至可以使用-T選項，如果你的/tmp目錄很小）
了解和字符集相關的命令行工具，包括排序和性能。很多的Linux安裝程序都會設置LANG 或是其它和字符集相關的環境變量。這些東西可能會讓一些命令（如：sort）的執行性能慢N多倍（注：就算是你用UTF-8編碼文本文件，你也可以很安全地使用ASCII來對其排序）。如果你想Disable那個i18n 並使用傳統的基於byte的排序方法，那就設置export LC_ALL=C （實際上，你可以把其放在.bashrc）。如果這設置這個變量，你的sort命令很有可能會是錯的。
了解awk 和sed，並用他們來做一些簡單的數據修改操作。例如：求第三列的數字之和： awk '{ x += $3 } END { print x }'。這可能會比Python快3倍，並比Python的代碼少三倍。
使用shuf 來打亂一個文件中的行或是選擇文件中一個隨機的行。
了解sort命令的選項。了解key是什麼（-t和-k）。具體說來，你可以使用-k1,1來對第一列排序，-k1來對全行排序。
Stable sort (sort -s) 會很有用。例如：如果你要想對兩例排序，先是以第二列，然後再以第一列，那麼你可以這樣： sort -k1,1 | sort -s -k2,2
我們知道，在bash命令行下，Tab鍵是用來做目錄文件自動完成的事的。但是如果你想輸入一個Tab字符（比如：你想在sort -t選項後輸入字符），你可以先按Ctrl-V，然後再按Tab鍵，就可以輸入字符了。當然，你也可以使用$'\t'。
如果你想查看二進製文件，你可以使用hd命令（在CentOS下是hexdump命令），如果你想編譯二進製文件，你可以使用bvi命令（http://bvi.sourceforge.net/ 牆）
另外，對於二進製文件，你可以使用strings（配合grep等）來查看二進制中的文本。
對於文本文件轉碼，你可以試一下iconv。或是試試更強的uconv 命令（這個命令支持更高級的Unicode編碼）
如果你要分隔一個大文件，你可以使用split命令（split by size）和csplit命令（split by a pattern）。
系統調試
如果你想知道磁盤、CPU、或網絡狀態，你可以使用iostat, netstat, top (或更好的htop),還有dstat命令。你可以很快地知道你的系統發生了什麼事。關於這方面的命令，還有iftop, iotop等（參看《28個Unix/Linux的命令行神器》）
要了解內存的狀態，你可以使用free和vmstat命令。具體來說，你需要注意“cached” 的值，這個值是Linux內核佔用的內存。還有free的值。
Java 系統監控有一個小的技巧是，你可以使用kill -3 發一個SIGQUIT的信號給JVM，可以把堆棧信息（包括垃圾回收的信息）dump到stderr/logs。
使用mtr 會比使用traceroute 要更容易定位一個網絡問題。
如果你要找到哪個socket或進程在使用網絡帶寬，你可以使用iftop 或nethogs。
Apache的一個叫ab 的工具是一個很有用的，用quick-and-dirty的方式來測試網站服務器的性能負載的工作。如果你需要更為複雜的測試，你可以試試siege。
如果你要抓網絡包的話，試試wireshark 或tshark。
了解strace 和ltrace。這兩個命令可以讓你查看進程的系統調用，這有助於你分析進程的hang在哪了，怎麼crash和failed的。你還可以用其來做性能profile，使用-c 選項，你可以使用-p選項來attach上任意一個進程。
了解用ldd命令來檢查相關的動態鏈接庫。注意：ldd的安全問題
使用gdb來調試一個正在運行的進程或分析core dump文件。參看我寫的《GDB中應該知道的幾個調試方法》
學會到/proc 目錄中查看信息。這是一個Linux內核運行時記錄的整個操作系統的運行統計和信息，比如： /proc/cpuinfo, /proc/xxx/cwd, /proc/xxx/exe, /proc/xxx/fd/, /proc/ xxx/smaps.
如果你調試某個東西為什麼出錯時，sar命令會有用。它可以讓你看看CPU, 內存, 網絡, 等的統計信息。
使用dmesg 來查看一些硬件或驅動程序的信息或問題。
作者最後加了一個免責聲明：Disclaimer: Just because you can do something in bash, doesn't necessarily mean you should. ;) （全文完）
原文出處：应该知道的Linux技巧 | 酷壳 - CoolShell.cn
2013年1月9日 陳皓 發表
這篇文章來源於Quroa的一個問答《What are some time-saving tips that every Linux user should know?》—— Linux用戶有哪些應該知道的提高效率的技巧。我覺得挺好的，總結得比較好，把其轉過來，並加了一些自己的理解。首先，我想告訴大家，在Unix/Linux下，最有效率技巧的不是操作圖形界面，而是命令行操作，因為命令行意味著自動化。如果你看過《你可能不知道的Shell》以及《28個Unix/Linux的命令行神器》你就會知道Linux有多強大，這個強大完全來自於命令行，於是，就算你不知道怎麼去做一個環保主義的程序員，至少他們可以讓你少熬點夜，從而有利於你的身體健康和性生活。下面是一個有點長的列表，正如作者所說，你並不需要知道所有的這些東西，但是如果你還在很沉重地在使用Linux的話，這些東西都值得你看一看。（注：如果你想知道下面涉及到的命令的更多的用法，你一定要man一點。對於一些命令，你可以需要先yum或apt-get來安裝一下，如果有什麼問題，別忘了Google 。如果你要Baidu的話，我僅代表這個地球上所有的生物包括微生物甚至細菌病毒和小強BS你到宇宙毀滅）
基礎
學習 Bash 。你可以man bash來看看bash的東西，並不復雜也並不長。你用別的shell也行，但是bash是很強大的並且也是系統默認的。（學習zsh或tsch只會讓你在很多情況下受到限制）
學習vim。在Linux下，基本沒有什麼可與之競爭的編譯輯器（就算你是一個Emacs或Eclipse的重度用戶）。你可以看看《簡明vim攻略》和《Vim的冒險遊戲》以及《給程序員的Vim速查卡》還有《把Vim變成一個編程的IDE》等等。
了解ssh。明白不需要口令的用戶認證（通過ssh-agent, ssh-add），學會用ssh翻牆，用scp而不是ftp傳文件，等等。你知道嗎？scp遠端的時候，你可以按tab鍵來查看遠 端的目錄和文件（當然，需要無口令的用戶認證），這都是bash的功勞。
熟悉bash的作業管理，如： &, Ctrl-Z, Ctrl-C, jobs, fg, bg, kill,等等。當然，你也要知道Ctrl+\（SIGQUIT）和Ctrl+C （SIGINT）的區別。
簡單的文件管理： ls和ls -l (你最好知道“ls -l”的每一列的意思), less, head, tail和tail -f, ln和ln -s (你知道明白hard link和soft link的不同和優缺點), chown, chmod, du (如果你想看看磁盤的大小du -sk *), df, mount。當然，原作者忘了find命令。
基礎的網絡管理： ip或ifconfig, dig。當然，原作者還忘瞭如netstat, ping, traceroute,等
理解正則表達式，還有grep/egrep的各種選項。比如： -o, -A,和-B這些選項是很值得了解的。
學習使用apt-get和yum來查找和安裝軟件（前者的經典分發包是Ubuntu，後者的經典分發包是Redhat），我還建議你試著從源碼編譯安裝軟件。
日常
在bash 裡，使用Ctrl-R 而不是上下光標鍵來查找歷史命令。
在bash裡，使用Ctrl-W 來刪除最後一個單詞，使用Ctrl-U 來刪除一行。請man bash後查找Readline Key Bindings一節來看看bash的默認熱鍵，比如：Alt-. 把上一次命令的最後一個參數打出來，而Alt-* 則列出你可以輸入的命令。
回到上一次的工作目錄： cd – （回到home是cd ~）
使用xargs。這是一個很強大的命令。你可以使用-L來限定有多少個命令，也可以用-P來指定並行的進程數。如果你不知道你的命令會變成什麼樣，你可以使用xargs echo來看看會是什麼樣。當然， -I{} 也很好用。示例：
find . -name \*.py | xargs grep some_function
cat hosts | xargs -I{} ssh root@{} hostname
pstree -p可以幫你顯示進程樹。（讀過我的那篇《一個fork的面試題》的人應該都不陌生）
使用pgrep 和pkill 來找到或是kill 某個名字的進程。(-f 選項很有用).
了解可以發給進程的信號。例如：要掛起一個進程，使用kill -STOP [pid]. 使用man 7 signal 來查看各種信號，使用kill -l 來查看數字和信號的對應表
使用nohup 或disown 如果你要讓某個進程運行在後台。
使用netstat -lntp來看看有偵聽在網絡某端口的進程。當然，也可以使用lsof。
在bash的腳本中，你可以使用set -x 來debug輸出。使用set -e 來當有錯誤發生的時候abort執行。考慮使用set -o pipefail 來限制錯誤。還可以使用trap來截獲信號（如截獲ctrl+c）。
在bash 腳本中，subshells (寫在圓括號裡的) 是一個很方便的方式來組合一些命令。一個常用的例子是臨時地到另一個目錄中，例如：
# do something in current dir
( cd /some/other/dir ; other- command )
# continue in original dir
在bash 中，注意那裡有很多的變量展開。如：檢查一個變量是否存在: ${name:?error message}。如果一個bash的腳本需要一個參數，也許就是這樣一個表達式input_file=${1:?usage: $0 input_file}。一個計算表達式： i=$(( (i + 1) % 5 ))。一個序列： {1..10}。截斷一個字符串： ${var%suffix} 和${var#prefix}。示例： if var=foo.pdf, then echo ${var%.pdf}.txt prints “foo.txt”.
通過<(some command) 可以把某命令當成一個文件。示例：比較一個本地文件和遠程文件/etc/hosts： diff /etc/hosts <(ssh somehost cat /etc/hosts)
了解什麼叫“ here documents ” ，就是諸如cat <
在遠端的ssh會話裡，使用screen或dtach來保存你的會話。（參看《28個Unix/Linux的命令行神器》）
要來debug Web，試試curl 和curl -I 或是wget 。我覺得debug Web的利器是firebug，curl和wget是用來抓網頁的，呵呵。
把HTML 轉成文本： lynx -dump -stdin
如果你要處理XML，使用xmlstarlet
對於Amazon S3， s3cmd 是一個很方便的命令（還有點不成熟）
在ssh中，知道怎麼來使用ssh隧道。通過-L or -D (還有-R) ，翻牆神器。
你還可以對你的ssh 做點優化。比如，.ssh/config 包含著一些配置：避免鏈接被丟棄，鏈接新的host時不需要確認，轉發認證，以前使用壓縮（如果你要使用scp傳文件）：
TCPKeepAlive= yes
ServerAliveInterval=15
ServerAliveCountMax=6
StrictHostKeyChecking=no
Compression= yes
ForwardAgent= yes
如果你有輸了個命令行，但是你改變注意了，但你又不想刪除它，因為你要在歷史命令中找到它，但你也不想執行它。那麼，你可以按下Alt-# ，於是這個命令關就被加了一個#字符，於是就被註釋掉了。
數據處理
了解sort 和uniq 命令(包括uniq 的-u 和-d 選項).
了解用cut, paste, 和join 命令來操作文本文件。很多人忘了在cut前使用join。
如果你知道怎麼用sort/uniq來做集合交集、並集、差集能很大地促進你的工作效率。假設有兩個文本文件a和b已解被uniq了，那麼，用sort/uniq會是最快的方式，無論這兩個文件有多大（sort不會被內存所限，你甚至可以使用-T選項，如果你的/tmp目錄很小）
cat a b | sort | uniq > c # c is a union b並集
cat ab | sort | uniq -d > c # c is a intersect b交集
cat a bb | sort | uniq -u > c # c is set difference a - b差集
了解和字符集相關的命令行工具，包括排序和性能。很多的Linux安裝程序都會設置LANG 或是其它和字符集相關的環境變量。這些東西可能會讓一些命令（如：sort）的執行性能慢N多倍（注：就算是你用UTF-8編碼文本文件，你也可以很安全地使用ASCII來對其排序）。如果你想Disable那個i18n 並使用傳統的基於byte的排序方法，那就設置export LC_ALL=C （實際上，你可以把其放在.bashrc）。如果這設置這個變量，你的sort命令很有可能會是錯的。
了解awk 和sed，並用他們來做一些簡單的數據修改操作。例如：求第三列的數字之和： awk '{ x += $3 } END { print x }'。這可能會比Python快3倍，並比Python的代碼少三倍。
使用shuf 來打亂一個文件中的行或是選擇文件中一個隨機的行。
了解sort命令的選項。了解key是什麼（-t和-k）。具體說來，你可以使用-k1,1來對第一列排序，-k1來對全行排序。
Stable sort (sort -s) 會很有用。例如：如果你要想對兩例排序，先是以第二列，然後再以第一列，那麼你可以這樣： sort -k1,1 | sort -s -k2,2
我們知道，在bash命令行下，Tab鍵是用來做目錄文件自動完成的事的。但是如果你想輸入一個Tab字符（比如：你想在sort -t選項後輸入
如果你想查看二進製文件，你可以使用hd命令（在CentOS下是hexdump命令），如果你想編譯二進製文件，你可以使用bvi命令（http://bvi.sourceforge.net/ 牆）
另外，對於二進製文件，你可以使用strings（配合grep等）來查看二進制中的文本。
對於文本文件轉碼，你可以試一下iconv。或是試試更強的uconv 命令（這個命令支持更高級的Unicode編碼）
如果你要分隔一個大文件，你可以使用split命令（split by size）和csplit命令（split by a pattern）。
系統調試
如果你想知道磁盤、CPU、或網絡狀態，你可以使用iostat, netstat, top (或更好的htop),還有dstat命令。你可以很快地知道你的系統發生了什麼事。關於這方面的命令，還有iftop, iotop等（參看《28個Unix/Linux的命令行神器》）
要了解內存的狀態，你可以使用free和vmstat命令。具體來說，你需要注意“cached” 的值，這個值是Linux內核佔用的內存。還有free的值。
Java 系統監控有一個小的技巧是，你可以使用kill -3
使用mtr 會比使用traceroute 要更容易定位一個網絡問題。
如果你要找到哪個socket或進程在使用網絡帶寬，你可以使用iftop 或nethogs。
Apache的一個叫ab 的工具是一個很有用的，用quick-and-dirty的方式來測試網站服務器的性能負載的工作。如果你需要更為複雜的測試，你可以試試siege。
如果你要抓網絡包的話，試試wireshark 或tshark。
了解strace 和ltrace。這兩個命令可以讓你查看進程的系統調用，這有助於你分析進程的hang在哪了，怎麼crash和failed的。你還可以用其來做性能profile，使用-c 選項，你可以使用-p選項來attach上任意一個進程。
了解用ldd命令來檢查相關的動態鏈接庫。注意：ldd的安全問題
使用gdb來調試一個正在運行的進程或分析core dump文件。參看我寫的《GDB中應該知道的幾個調試方法》
學會到/proc 目錄中查看信息。這是一個Linux內核運行時記錄的整個操作系統的運行統計和信息，比如： /proc/cpuinfo, /proc/xxx/cwd, /proc/xxx/exe, /proc/xxx/fd/, /proc/ xxx/smaps.
如果你調試某個東西為什麼出錯時，sar命令會有用。它可以讓你看看CPU, 內存, 網絡, 等的統計信息。
使用dmesg 來查看一些硬件或驅動程序的信息或問題。
作者最後加了一個免責聲明：Disclaimer: Just because you can do something in bash, doesn't necessarily mean you should. ;) （全文完）
原文出處：应该知道的Linux技巧 | 酷壳 - CoolShell.cn