今天在幫前端準備資料的時候，需要把資料格式轉成json格式，說實話，涉及到中文有時候真的是很蛋疼，除非對Python的編碼規則比較了解，不然處理起來真的很蛋疼。
整個邏輯
我們需要處理的是把一些文章處理，產生多個html文件，然後用json來顯示文章的列表，圖片，摘要和標題。
想法
為了以後的資料擴展，那必須有一個資料庫，我的想法就是自己寫一個簡單的網頁做為提交輸入，然後post到後台以後錄入到資料庫中，再寫一個展示文章的頁面，展示效果正確後，寫一個requests動態的把所有的資料都爬下來產生一個一個的html文檔。最後的json資料我只要從資料庫把資料抽出來產生就行了。
前端
其實前端的東西很簡單，最近一直在寫網頁，所以前端的東西分分鐘就搞定了。程式碼如下：
urls.py
from django.conf.urls import url, include
from . import views
urlpatterns = {
url(r'^$', views.index, name='index'),
url(r'add_article/', views.add_article, name='add_article'),
url(r'^article/(?P<main_id>\S+)/$', views.article, name='article'),
}
views.py
# coding=utf-8
from django.shortcuts import render
from .models import Tzxy
# Create your views here.
def index(request):
return render(request, 'index.html')
def add_article(request):
error = 'error'
if request.method == 'POST':
# 获取前段request的内容
main_id = request.POST['main_id']
img_url = request.POST['img_url']
title = request.POST['title']
content = request.POST['content']
abstract = content[:50]
print main_id
indb = Tzxy(
main_id=main_id,
img_url=img_url,
title=title,
content=content,
abstract=abstract
)
indb.save()
error = 'success'
return render(request, 'index.html', {'error': error})
return render(request, 'index.html')
def article(request, main_id):
article_detial = Tzxy.objects.get(main_id=main_id)
return render(request, 'views.html', {'content': article_detial})
models.py
from __future__ import unicode_literals
from django.db import models
from django.contrib import admin
class Tzxy(models.Model):
main_id = models.CharField(max_length=10)
img_url = models.CharField(max_length=50, null=True)
title = models.CharField(max_length=50)
content = models.TextField()
abstract = models.CharField(max_length=200)
admin.site.register(Tzxy)範本我就隨便寫了一個簡單的表單
index.html
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
<link href="http://libs.baidu.com/bootstrap/3.0.3/css/bootstrap.min.css" rel="stylesheet">
<script src="http://libs.baidu.com/jquery/2.0.0/jquery.min.js"></script>
<script src="http://libs.baidu.com/bootstrap/3.0.3/js/bootstrap.min.js"></script>
</head>
<body>
<form method="post" action="/tzxy/add_article/">
{% csrf_token %}
main_id: <input type="text" name="main_id"><br>
img_url: <input type="text" name="img_url"><br>
title: <input type="text" name="title"><br>
{% if error == 'success' %}
<p class="alert alert-success">{{ error }}</p>
{% endif %}
<textarea name="content" rows="25" style="width: 600px;"></textarea><br>
<input type="submit" name="Submit">
</form>
</body>
</html>#展示的頁面
##
{% load custom_markdown %}
<!DOCTYPE html>
<html lang="zh-cn">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="initial-scale=1.0,maximum-scale=1.0,minimum-scale=1.0,user-scalable=no" />
<meta name="apple-touch-fullscreen" content="yes" />
<meta name="apple-mobile-web-app-capable" content="yes" />
<meta name="format-detection" content="telephone=no">
<meta http-equiv="Cache-Control" content="no-store" />
<meta http-equiv="Pragma" content="no-cache" />
<meta http-equiv="Expires" content="0" />
<title>{{ content.title }}</title>
<link rel="stylesheet" href="../../css/cssreset.min.css">
<link rel="stylesheet" href="../../css/fx_tzxy_content.min.css">
</head>
<body>
<p class="page">
<h1>{{ content.title }}</h1>
<p class="content">
{{ content.content | custom_markdown | linebreaksbr }}
</p>
</p>
</body>
</html>當然，我裡面使用了markdown來處理了一些資料。有關markdown的集成，可以移步《Django開發博客（六）—添加markdown支援》
爬數據的小腳本如下，需要使用到requests模組
# coding=utf-8
import sys
import requests
reload(sys)
sys.setdefaultencoding('utf8')
def tohtml(file_name, startpos, endpos):
"""
请求网页数据后把网页源码存储为html格式,启动脚本时要先启动Django的Server
:param file_name:生成文件名的前缀,最后一位用传入的数字来代替
:param startpos:开始的数字
:param endpos:结束的数字
:return:None
"""
for x in range(startpos, endpos):
r = requests.get('http://127.0.0.1:8000/tzxy/article/' + file_name + str(x))
with open('/Users/SvenWeng/Desktop/test/' + file_name + str(x) + '.html', 'w') as f:
f.write(r.text)
print 'success'
if __name__ == '__main__':
tzhtl_name = 'tzxy_tzhtl_h_'
djjyy_name = 'tzxy_djjyy_h_'
tohtml(djjyy_name, 1, 39)生成json
說實話，json的使用方式很簡單，Python對json的支持也很好，不過涉及到中文就有點蛋痛了，我的程式碼是這樣的：# coding=utf-8
import sqlite3
import json
import sys
reload(sys)
sys.setdefaultencoding('utf8')
list_json = []
conn = sqlite3.connect('db.sqlite3')
c = conn.cursor()
sql = 'select * from Tzxy_tzxy'
c.execute(sql)
all_thing = c.fetchall()
for x in all_thing:
dic_member = {'id': x[1].split('_')[3],
'img': x[2],
'title': x[3],
'abstract': ''}
list_json.append(dic_member)
conn.close()
final_json = json.dumps(list_json, sort_keys=True, indent=4)
with open('test.json', 'w') as f:
f.write(final_json)邏輯看起來是沒什麼問題，實作起來也很完美，但最後我打開json檔案檢查的時候發現所有的中文都變成Unicode了。這簡直是坑爹。
ensure_ascii=False，在Python轉Json的時候帶上這個方法，也就是
#
final_json = json.dumps(list_json, sort_keys=True, indent=4, ensure_ascii=False)
