python

はてなブックマークのみんながつけたタグ名をリストで取得する

import re import urllib,urllib2 def get_globaltags(trgurl): q = {'url':trgurl} entryinfourl = 'http://b.hatena.ne.jp/entry?%s' % urllib.urlencode(q) result=urllib2.urlopen(entryinfourl) reg = re.compile(r'<span class="global-tag"><a href=(.+) rel=(.+) class=(.+) title=(.+)>(.+)</a></span>') tags = r…

データストアに格納したURL文字列を検索するときに注意すること。

db.TextProperty()を設定しているとGQLで検索されない。 db.LinkProperty()にすること。

Google App EngineでInstapaperのFeedをParseしてはてなに投稿するPythonコード

InstapaperのRSSをGAEでパースしてはてなブックマークにタグ[あとで読む]で投稿する。 はてブの投稿にはWSSE.pyを使う。 #!/usr/bin/env python # -*- coding: utf-8 -*- __author__ = "yadokari23" import logging import re import os import urllib, urll…

複数のSqlite dbファイルにある同じ構造のテーブルからデータを抽出するメモ

#!/usr/bin/env python # -*- coding: utf-8 -*- import sqlite3 import csv writer = csv.writer(file('result.csv','w'),lineterminator="\n",quoting = csv.QUOTE_ALL) con = sqlite3.connect(':memory:') cur = con.cursor() sql2 = "SELECT * FROM (SEL…

sql文のLIMIT、OFFSET句とリスト内包表記のメモ

表データをN行ずつ分けて処理する。 #!/usr/bin/env python # -*- coding: utf-8 -*- import sqlite3 ↓↓↓↓↓↓ここから <test用DBの準備>↓↓↓↓↓↓ con = sqlite3.connect(":memory:") cur = con.cursor() sql = """CREATE TABLE IF NOT EXISTS user ([user_id] TEXT, [user_name]</test用dbの準備>…

GAE/Pyを使ってTwitter本アカのふぁぼを自動ではてブ+サブアカに公式RTする。

Google App Engine を使ってTwitter本アカのふぁぼったツイートに含まれるリンクを自動ではてブ+サブアカに公式RTする。 ※はてブからTwitterに流す設定をしている場合、AtomAPIからの投稿をTwitterに流さないようにしておく。ブコメに@を使っているので、ふ…

queue.yamlにリトライ制限を記述

queue.yamlにretry_parametersを追加する。 Retrying Tasks in Push QueuesIn fooqueue, tasks are retried at least seven times and for up to two days from the first execution attempt. After both limits are passed, it fails permanently. http://c…

PythonでTwitterのAtomフィードをパースする

例はTwitterのSearch API。 from google.appengine.api import urlfetch #GAE/Py from xml.etree import ElementTree as etree #・・・・(略)・・・・ qstr = u'#albirex' query = {'q':qstr, 'lang':'ja', 'rpp' :'100' } url = ("http://search.twitter.com/search…

はてなブックマークエントリー情報取得APIを使うついでに全体のカテゴリ名を取得する。

参考:Pythonで、はてなAPIを使ってみる(1) はてなブックマークエントリー情報取得APIを使ってみた。はてなブックマークエントリー情報取得APIでは項目がないっぽいので、 全体のカテゴリ名をHTMLから正規表現で取ってきて、それを辞書に付加する。 import re…