よーし asahi.com の記事一覧から記事を取ってきて一つなぎにして見やすく整形するスクリプトがほぼ出来た（整形するのは CSS だけど
お話しするにはログインしてください。
Tips:強調記法：**強調**の様にアスタリスクで二重に囲った文字は強調される。
id:Kodakana は シェルスクリプトのことを語る
id:Kodakana は シェルスクリプトのことを語る
ここ数日情報収集の省力化のためのシェルスクリプトを延々といじくり続けていたので正規表現とか sed や tr とかの使い方を大分覚えた。
id:Kodakana は シェルスクリプトのことを語る
（複数の）ウェブページの URL を引数に取り、内容を抽出、一つの HTML に結合するシェルスクリプト htslurp.sh ver.0.4
- -------------------------- というのを貼ろうと思ったのだがハイクには長すぎるのでいずれどこかで出そう。
- -------------------------- 使用例：
htslurp.sh http://www.google.com/ http://www.yahoo.com/
htslurp.sh `cat srclist.txt` > dstfile.html
id:Kodakana は シェルスクリプトのことを語る
（複数の）ウェブページの URL を引数に取りテキストコンテンツを抽出、結合して出力するシェルスクリプト webslurp.sh Ver.0.3
- --------
!/bin/bash
Web slurping script
for srcurl in "$@"
do
Download from web
wget -q -O - $srcurl | nkf --utf8 -Lu > ~/.slurptmp.html
Title content extraction
title=`cat ~/.slurptmp.html | tr -d "\n" | grep "<title[^>]*>.*</title>\|<TITLE[^>]*>.*</TITLE>" | sed -e "s/\(.*<title[^>]*>\|.*<TITLE[^>]*>\)\(.*\)\(<…[全文を見る]
id:Kodakana は シェルスクリプトのことを語る
!/bin/bash
Web slurping script
for srcurl in "$@"
do
Title content extraction
title=`echo $srcurl | wget -i - -q -O - | nkf --utf8 | grep "<title>.*</title>\|<TITLE>.*</TITLE>" | sed -e "s/\(.*<title>\|.*<TITLE>\)\(.*\)\(<\/title>.*\|<\/TITLE>.*\)/\2/g"`
Headline generation
headline=`echo "[$title]($srcurl)"`
Body content extraction
body=`w3m $srcurl`
Output
echo "*"$'\t'"$headline"$'\n'$'\n'$'\n'"$body"$'\n'$'\n'
done
よーしこれで記事収集の手間が減らせる。
id:Kodakana は シェルスクリプトのことを語る
フォトライフ記法を URL に変換してみる。
!/bin/bash
for fotolife in "$@"
do
echo $fotolife | sed -e "s/f:/http:\/\/f\./" | sed -e "s/id:/hatena\.ne\.jp\//" | sed -e "s/\([a-zA-Z0-9\-_]\):\([0-9]\)/\1\/\2/" | sed -e "s/[a-z]:image//"
done