twitterに投稿されたゲレンデ写真を纏めたサイト＋その他の技術情報

twitterに投稿された(略 をどうやって作成したかという技術メモ。

作成手順

以下の3ステップで作成しています。

1. twitterAPIを利用して#snowJPの検索結果を収集する。
2. 収集した検索結果を加工してRSS化する。
3. 指定したRSSを自動投稿するプラグインをwordpressに導入し、2で加工したRSSを登録する。

1、2で使ってるプログラムは最後に紹介するとして。3はFeedWordPressというプラグインを利用します。

FeedWordPressでマルチブログする – [Mi]みたいなもの

これでRSSさえ作ってしまえば、最後のアウトプット先をWordPressにすることができます。普通こういうWebサービスは自分で”ガワ”をデザインするのですが

• 自分のデザイン能力の低さ
• wordpressの使いやすさ
• 携帯やiPhone対応への手間(wordpressには携帯・iPhoneビュー用のプラグインもある)

など考えると、wordpressを使うのがベストかな、と判断しました。

ということで、後はRSSを作るだけ！スクレイピングもRSS作成も得意だからすぐだよね！…とはいかず。

苦労した点

1. twitterAPIのパース

twitterではスクレイピングを規約で明示的に禁止しているので、APIを使って情報を取得します。提供形式はjson、atomの2種類で慣れているatomを選んでrubyのrssライブラリでパースしよー♪…と思いきや、なぜか対応できないと跳ねられる。しかたないのでREXMLを使ってXML文章としてパースしたんだけど、REXMLの使い方をすっかり忘れていてパースするだけなのにめちゃ苦労しました。

2. RSS1.0と2.0の仕様の違い

1.で情報は取得できたので、それをRSSに流し込むだけ。…流し込むまでは良かったのですがRSS1.0では画像の展開ができないという制限を知らなかったので、RSS1.0で作ってしまい画像が表示されませんでしたとさ

3. FeedWordPressとrubyのrss/makerの仕様制限

RSS2.0で作成してFeedWordPressに読み込ませた！…のだけど、今度は改行が反映されないorz 調べたところ、どうやらFeedWordPressがRSS2.0を読み込む場合、

1. 「content:encoded」があれば本文として使う。
2. 「content:encoded」がなければ「description」として使う。ただし改行は反映されない。

仕様らしく、僕が作成したRSS2.0は「description」しか作ってなかったので改行コードが反映されなかったと。んじゃ「content:encoded」を作ればいいじゃん、というところですが、rss/makerライブラリの仕様でRSS2.0作成時には「content:encoded」を利用できない！

仕方ないのでRSS2.0を作成し文字列として読み込んだ後、「description」の下に1行挿入し「content:encoded」とする超泥臭い作り方で乗り切りました。うーん、RSSライブラリは完璧じゃないよなぁ…。

ということでコード公開

require 'kconv'
require 'open-uri'
require 'uri'
require 'kconv'
require 'cgi'
require 'rss/maker'
require 'rexml/document'
include REXML
 #
 # 0.初期設定
 #
 # プログラムルートパス
 #
path = Dir.pwd + '/'
 #
 # ----------------------------------------------------------------------------------------------
 # 1.twitterAPIを使用してRSS保存
 # ----------------------------------------------------------------------------------------------
 #
=begin
 # 検索例(twitter公式)
 # http://search.twitter.com/search.atom?q=%23snowJP&locale=ja
 # http://search.twitter.com/search.json?q=%23snowJP&locale=ja
 # 検索例(twitter検索)
 # http://pcod.no-ip.org/yats/search?query=%23snowJP&rss
 # http://pcod.no-ip.org/yats/search?query=%23snowJP&json
=end
 #
 # 検索語句を配列で指定
serachWord = ['スノーボード','イエティ','軽プリ']
 #
 # 全てをURLエンコード
serachWordTemp = Array.new
serachWord.each do |text|
  serachWordTemp << CGI.escape(text)
end
serachWord = serachWordTemp
 #
 # ファイル保存。ファイル名は検索語句＋日時
 #
 #=begin
 # ★APIへのアクセス制限を回避するため必要な時だけコメントオフにする
time = Time.now.strftime("%Y%m%d%H%M%S") #=> 20091014204219
serachWord.each do |text|
  url = 'http://search.twitter.com/search.atom?q=' + text + '&locale=ja'
  filename = text + '<em>' + time + '.atom'
  File.open(path + filename, 'wb') do |f|
    f.write open(url).read
  end
end
 #=end
 #
 # ★検証用
 #time = '20091015223148'
 #
 # ----------------------------------------------------------------------------------------------
 # 2-1.保存したRSSを重複なしで一つのファイルに纏める(タブ区切り、先頭は日時)
 # ----------------------------------------------------------------------------------------------
 #
tempText = 'main_snow_text.txt'
File.open(path + tempText, 'wb') do |f|
  serachWord.each do |text|
    filename = text + '</em>' + time + '.atom'
    doc = REXML::Document.new File.open(path + filename,&quot;r&quot;)
    entrySize = doc.root.elements[&quot;openSearch:itemsPerPage&quot;].text.to_i
    unless entrySize == &quot;&quot; or entrySize == 0
      1.upto(entrySize) do |i|
        entry = doc.root.elements[&quot;entry[#{i}]&quot;]
        # 指定した検索ヒット数よりヒットしたpostが少なかった場合対応
        break if entry == nil
     #  f.write entry.text(&quot;id&quot;)
     #  f.write entry.text(&quot;title&quot;)
     #  f.write entry.text(&quot;updated&quot;)
        f.write entry.text(&quot;published&quot;) + &quot;\t&quot;
        f.write entry.text(&quot;content&quot;).gsub(/\n/,&quot;&quot;) + &quot;\t&quot;
        f.write entry.text(&quot;twitter:source&quot;) + &quot;\t&quot;
        f.write entry.text(&quot;author/name&quot;) + &quot;\t&quot;
        f.write entry.text(&quot;author/uri&quot;) + &quot;\t&quot;
        entry.each_element_with_attribute(&quot;type&quot;,&quot;text/html&quot;) do |elem|
          f.write elem.to_s.gsub(/.<em>http/,'http').gsub(/' rel='.</em>/,'') + &quot;\t&quot;
        end
        entry.each_element_with_attribute(&quot;type&quot;,&quot;image/png&quot;) do |elem|
          f.write elem.to_s.gsub(/.<em>http/,'http').gsub(/' rel='.</em>/,'') + &quot;\t&quot;
        end
        f.write &quot;\r\n&quot;
      end
    end
  end
end
 #
 # ----------------------------------------------------------------------------------------------
 # 2-2.纏めたファイルから順番に読み出し配列に入れる＋フィルタリング
 # ----------------------------------------------------------------------------------------------
 #
margeArr = []
 #
File.open(path + tempText) do |f|
  while line = f.gets
    margeArr &lt;&lt; line
  end
end
 #
margeArr.sort!
margeArr.uniq!
 #
 # フィルタリング
=begin
margeArr.each do |line|
  case line 
  when %r[&lt;a href=&quot;http://movapic.com/pic/\w+]
    margeArrFilter &lt;&lt; line
  when %r[&lt;a href=&quot;http://twitpic.com/\w+]
    margeArrFilter &lt;&lt; line
  when %r[http://f.hatena.ne.jp/twitter/\w+]
    margeArrFilter &lt;&lt; line
  else
  end
end
=end
 #
 # 最新の15個を取り出し
rssNum = 200
margeArr.slice!(0, margeArr.size - rssNum) if margeArr.size - rssNum &gt; 0
 # ----------------------------------------------------------------------------------------------
 # 2-3.画像のみのRSSを生成する。画像パスは展開する
 # ----------------------------------------------------------------------------------------------
 #
snowRssFile = 'snowJP_All.rss'
 #snowRssFile = 'snowJP_newComer.rss'
rssArr = margeArr
f_rss = File.open(path + snowRssFile, &quot;wb&quot;)
 #
 # RSSのバージョンを指定してRSSオブジェクトを生成します
rss = RSS::Maker.make(&quot;2.0&quot;) do |maker|
 #
  #適用するスタイルシートを指定します
  xss = maker.xml_stylesheets.new_xml_stylesheet
  xss.href = &quot;./rdf.xsl&quot;
 #
  # 記事を配信しているページに関する情報を設定します
  maker.channel.about = &quot;http://prius.cc/twit_snow/&quot;
  maker.channel.title = &quot;snowJP&quot;
  maker.channel.description = &quot;snowJP&quot;
  maker.channel.link = &quot;http://prius.cc/twit_snow/&quot;
 #
  # RSSのitemを更新日が新しい順番にソートする機能を有効にする
  maker.items.do_sort = true
 #
  # 以下では記事に関する情報を指定します
  rssArr.each do |elem|
    elemArr = elem.split(/\t/)
    item = maker.items.new_item
    # 各種形式変換ここから--------------------
    formatTime = elemArr[0].gsub('T',' ').gsub('Z','')
    # もし画像パスがあれば展開する。
    case elemArr[1]
    when %r[&lt;a href=&quot;http://movapic.com/pic/\w+]
      # パーマリンクへのURL取得
      parmlink = elemArr[1].slice(%r[http://movapic.com/pic/\w+])
      # サムネイル用URL生成
      thumnail = 'http://image.movapic.com/pic/s_' + parmlink.slice(%r[http://movapic.com/pic/(\w+)], 1) + '.jpeg'
    when %r[&lt;a href=&quot;http://twitpic.com/\w+]
      # パーマリンクへのURL取得
      parmlink = elemArr[1].slice(%r[http://twitpic.com/\w+])
      # サムネイル用URL生成
      thumnail = 'http://twitpic.com/show/thumb/' + parmlink.slice(%r[http://twitpic.com/(\w+)], 1)
    when %r[http://f.hatena.ne.jp/twitter/\w+]
      # パーマリンクへのURL取得
      parmlink = elemArr[1].slice(%r[http://f.hatena.ne.jp/twitter/\w+])
      # サムネイル用URL生成
      hatenaParmlink = parmlink.slice(%r[http://f.hatena.ne.jp/twitter/(\w+)], 1)
      hatenaDateTime = hatenaParmlink[0,8]
      thumnail = 'http://img.f.hatena.ne.jp/images/fotolife/t/twitter/' + hatenaDateTime + '/' + hatenaParmlink + '_120.jpg'
    else
      parmlink = &quot;&quot;
    end
    unless parmlink == &quot;&quot;
      descriptionStr = '&lt;p&gt;' + elemArr[1] + '&lt;/p&gt;' + '&lt;p&gt;&lt;a href=&quot;' + parmlink + '&quot; target=&quot;_blank&quot;&gt;&lt;img src=&quot;' + thumnail + '&quot;&gt;&lt;/a&gt;&lt;/p&gt;'
    else
      descriptionStr = '&lt;p&gt;' + elemArr[1] + '&lt;/p&gt;'
    end
 #
    # 各種形式変換ここまで--------------------
    item.title = elemArr[3] + 'の' + formatTime + 'の投稿'
    item.link = elemArr[5]
    item.description = '&lt;![CDATA[' + 
    descriptionStr + 
    '&lt;p&gt;' + '&lt;img src=&quot;' + elemArr[6] + '&quot; /&gt;' + '&lt;a href=&quot;' + elemArr[4] + '&quot;&gt;' + elemArr[3] + '&lt;/a&gt;の' + '&lt;a href=&quot;' + elemArr[5] + '&quot;&gt;' + formatTime + '&lt;/a&gt;の投稿' + '&lt;/p&gt;' + 
    ' ]]&gt;'
    item.date = Time.parse(formatTime)
  end
end
 #
=begin
百景
http://movapic.com/pic/200910031352404ac6d8986af75
http://image.movapic.com/pic/s_200910031352404ac6d8986af75.jpeg
 #
twitpic
http://twitpic.com/k5boe
http://twitpic.com/show/thumb/k5boe
 #
http://f.hatena.ne.jp/twitter/20091011145112
http://img.f.hatena.ne.jp/images/fotolife/t/twitter/20091011/20091011145112_120.jpg
 #
20091011145112
20091011145112_120.jpg
 #
&lt;a href=&quot;http://f.hatena.ne.jp/twitter/20091017214947&quot; target=&quot;_blank&quot;&gt;&lt;img src=&quot;http://img.f.hatena.ne.jp/images/fotolife/t/twitter/20091017/20091017214947_120.jpg&quot; class=&quot;tl-image&quot;&gt;&lt;/a&gt;
 #
 #
=end
 #
 # RSSを出力します
f_rss.puts rss
f_rss.close
 # &lt;![CDATA[の&quot;&lt;&quot;を実態参照しないために変換
data = File.read(path + snowRssFile)
data2 = data.gsub('&amp;lt;','&lt;').gsub('&amp;gt;','&gt;').gsub('&amp;quot;','&quot;')
 #
f_rss = File.open(path + snowRssFile, &quot;wb&quot;)
 #
 # content:encodedを追加するため編集
 # ※descriptionでは改行や&lt;p&gt;コードなどがWordPress側で反映されない。
 # またrss/makerにはRSS2.0でcontent:encodedを追加する機能はない。
 # atomにはcontent:encodedを追加できるがそもそもバグがありatomを生成できない。
data2.each_line do |line|
  case line
=begin
★検証時はコメントオフ？
  when %r[rss version=&quot;2.0&quot;]
    f_rss.puts line
    f_rss.puts '  xmlns:content=&quot;http://purl.org/rss/1.0/modules/content/&quot;'
=end
  when %r[&lt;description&gt;] &amp;&amp; line !~ %r[&lt;description&gt;snowJP&lt;/description&gt;]
    f_rss.puts line
    f_rss.puts line.gsub('description','content:encoded')
  else
    f_rss.puts line
  end
end
 #
 # ★Todo：画像パスの展開
 # RSSもうちょい見やすくする
 # http://exco.sakura.ne.jp/twit_snow/
 #
 # 0:日時
 # 1:コメント
 # 2:soruce
 # 3:author
 # 4:author page
 # 5:perm link
 # 6:profile photo

※ ファイルダウンロードはこちら。
※ wordpressのSyntaxHighlightには空行を含めない制約があるので、空行には先頭に”#”を入れてます。
※ 検索ワード指定部分は配列になっていて、自分の好きな言葉を指定するとその分APIを叩いてRSSを生成します。サーバに置いてcronで実行することで自家製RSS製造機に！

Q&A

Q.こんなしょぼいプログラムを公開して恥ずかしくないのですか？
A.僕の本業はシステム管理。プログラマーではないので恥ずかしくありません＞＜

Q.それにしても、あまりに保守性が低くありませんか？
A.さすがに自分でも見難いので、もうちょいきれいにします。

関連する投稿

• まなめさんのtwitterまとめツールをWeb化しました (0)
• 初心者の人生初二郎挑戦記 (0)
• ビールは氷点下で凍らない！-2℃で飲むアサヒルーパードライ！ (0)
• ツタヤディスカスが神で、レンタルCD界のAmazonかもしれないと思い始めた。 (7)
• [memo]twitter上での継続目標管理ツールを作りたい (0)

Web拍手/はてブ/Tweetボタン

下のボタンを押すと拍手を送ることができます。同時にメッセージも送れます。

はてブはこちら。
Tweet