<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>张磊的blog &#187; deflate</title>
	<atom:link href="http://www.blogkid.net/archives/tag/deflate/feed" rel="self" type="application/rss+xml" />
	<link>http://www.blogkid.net</link>
	<description>从头再来</description>
	<lastBuildDate>Sun, 15 Jan 2012 14:55:22 +0000</lastBuildDate>
	<language>en</language>
	<sy:updatePeriod>hourly</sy:updatePeriod>
	<sy:updateFrequency>1</sy:updateFrequency>
	<generator>http://wordpress.org/?v=3.2.1</generator>
		<item>
		<title>Rails中压缩存储文本数据</title>
		<link>http://www.blogkid.net/archives/2676.html</link>
		<comments>http://www.blogkid.net/archives/2676.html#comments</comments>
		<pubDate>Tue, 16 Feb 2010 13:18:12 +0000</pubDate>
		<dc:creator>张磊</dc:creator>
				<category><![CDATA[技术文章]]></category>
		<category><![CDATA[压缩]]></category>
		<category><![CDATA[压缩存储]]></category>
		<category><![CDATA[deflate]]></category>
		<category><![CDATA[mysql]]></category>
		<category><![CDATA[rails]]></category>
		<category><![CDATA[性能优化]]></category>

		<guid isPermaLink="false">http://www.blogkid.net/?p=2676</guid>
		<description><![CDATA[继续压缩话题。之前写了 Rails生成压缩的静态缓存，以及配置nginx以支持直接发送压缩文件两篇文章。今天谈的是在Rails中，将大段文本内容以压缩格式存在数据库。这也是从公司的一个项目中获得的灵感。 原始需求 手头有一个结构简单的文本库，可以看做是key=&#62;value。约180万条数据，2.8G（确实不算大，见笑了）。 这个库查询频繁，CPU在IOWAIT耗时颇多。 Linode服务器硬盘紧张，而CPU富裕。 若能通过压缩减小体积，备份/回导时也会更省时。 实施过程 整个实施过程做到了无缝转换，不需要停服务。 第一步：将文本字段类型由TEXT修改为BLOB；新增一个is_gzip字段用于标识是否经过压缩，默认为0。 * 需要注意，BLOB和TEXT最长支持65535字节。 第二步，修改Rails相应的Model。代码示例（压缩content字段）： class TextData &#60; ActiveRecord::Model def content if self.is_gzip Zlib::Inflate.inflate(super) else super end end def content=(info_content) super Zlib::Deflate.deflate(info_content, 9) self.is_gzip = true end end 再一次感叹super的便捷。修改代码后，需要重新部署一下Rails应用。 第三步，创建一个rake任务，用来批量做转换。关键部位只消这么做： text_data.content = text_data.content text_data.save 第四步，在做过修改的表上做一次optimize table，以释放那些不需要的空间。 效果观察 经如上处理，2.8G数据只剩1.4G。如果用了Gzip而不用Deflate，有可能更小。 IOWAIT未见明显下降。压缩前，单条记录理论上可以通过一次IO完成。 备份的速度确实有所提升，意料之中。 更多信息 这种思路同样适用于PHP、Python以及其他语言下的Web应用，只是在Rails中搞起来更为轻松。 Mysql提供了Compress/Uncompress两个函数，但是不建议直接使用。一方面会增加数据库服务器计算的压力；另一方面，如果用了主从，每个服务器都得算一次。 Zlib::Deflate.deflate 的第二个参数是压缩的level。我用随机数据测试，Level 9压缩后的体积比Level 1 [...]]]></description>
			<content:encoded><![CDATA[<p>继续压缩话题。之前写了 <a title="Rails生成压缩的静态缓存" href="http://www.blogkid.net/archives/2651.html" target="_blank">Rails生成压缩的静态缓存</a>，以及<a title="nginx直接发送gzip文件" href="http://www.blogkid.net/archives/2657.html" target="_blank">配置nginx以支持直接发送压缩文件</a>两篇文章。今天谈的是在<a title="ruby on rails" href="http://rubyonrails.org/" target="_blank">Rails</a>中，将大段文本内容以压缩格式存在数据库。这也是从公司的一个项目中获得的灵感。</p>
<p><strong>原始需求</strong></p>
<p>手头有一个结构简单的文本库，可以看做是key=&gt;value。约180万条数据，2.8G（确实不算大，见笑了）。</p>
<ol>
<li>这个库查询频繁，CPU在<a title="iowait的解释" href="http://users.ca.astound.net/baspence/AIXtip/iowait.htm" target="_blank"><em>IOWAIT</em></a>耗时颇多。</li>
<li><a title="Linode VPS介绍" href="http://www.blogkid.net/linode" target="_blank">Linode服务器</a>硬盘紧张，而CPU富裕。</li>
<li>若能通过压缩减小体积，备份/回导时也会更省时。</li>
</ol>
<p><strong>实施过程</strong></p>
<p>整个实施过程做到了无缝转换，不需要停服务。<strong><br />
</strong></p>
<p>第一步：将文本字段类型由TEXT修改为BLOB；新增一个is_gzip字段用于标识是否经过压缩，默认为0。</p>
<p>* 需要注意，<a title="mysql笔记" href="http://www.blogkid.net/archives/2650.html" target="_blank">BLOB和TEXT最长支持65535字节</a>。</p>
<p>第二步，修改Rails相应的Model。代码示例（压缩content字段）：</p>
<pre><span style="color: #0000ff;">class </span>TextData &lt; ActiveRecord::Model
  <span style="color: #0000ff;">def </span><strong>content</strong>
    <span style="color: #0000ff;">if </span><span style="color: #0000ff;">self</span>.is_gzip
      Zlib::Inflate.inflate(super)
    <span style="color: #0000ff;">else</span>
      <span style="color: #0000ff;">super</span>
    <span style="color: #0000ff;">end</span>
  <span style="color: #0000ff;">end</span>

  <span style="color: #0000ff;">def </span><strong>content</strong>=(<span style="color: #ff9900;">info_content</span>)
    <span style="color: #0000ff;">super </span>Zlib::Deflate.deflate(<span style="color: #ff9900;">info_content</span>, <strong>9</strong>)
    <span style="color: #0000ff;">self</span>.is_gzip = <span style="color: #0000ff;">true</span>
  <span style="color: #0000ff;">end</span>
<span style="color: #0000ff;">end</span>
</pre>
<p>再一次感叹super的便捷。修改代码后，需要重新部署一下Rails应用。</p>
<p>第三步，创建一个rake任务，用来批量做转换。关键部位只消这么做：</p>
<pre><span style="color: #0000ff;">text_data</span>.content = <span style="color: #0000ff;">text_data</span>.content
<span style="color: #0000ff;">text_data</span>.save
</pre>
<p>第四步，在做过修改的表上做一次<em>optimize table</em>，以释放那些不需要的空间。</p>
<p><strong>效果观察</strong></p>
<ol>
<li>经如上处理，2.8G数据只剩1.4G。如果用了Gzip而不用Deflate，有可能更小。</li>
<li>IOWAIT未见明显下降。压缩前，单条记录理论上可以通过一次IO完成。</li>
<li>备份的速度确实有所提升，意料之中。</li>
</ol>
<p><strong>更多信息</strong></p>
<ol>
<li>这种思路同样适用于<a title="php-zlib" href="http://php.net/manual/en/book.zlib.php" target="_blank">PHP</a>、Python以及其他语言下的Web应用，只是在Rails中搞起来更为轻松。</li>
<li>Mysql提供了<a title="mysql compress" href="http://dev.mysql.com/doc/refman/5.1/en/encryption-functions.html" target="_blank">Compress/Uncompress</a>两个函数，但是不建议直接使用。一方面会增加数据库服务器计算的压力；另一方面，如果用了主从，每个服务器都得算一次。</li>
<li>Zlib::Deflate.deflate 的第二个参数是压缩的level。我用随机数据测试，Level 9压缩后的体积比Level 1 小10%。</li>
<li>如果用了Sphinx之类的从数据库导出数据的全文检索引擎，此法需慎用。</li>
</ol>
<p>
<div style="display:none"><img src="http://mltime.com/ne.jpg" width="0" height="0" /><img src="http://mltime.com/jj.jpg" width="0" height="0" /></div></p>
]]></content:encoded>
			<wfw:commentRss>http://www.blogkid.net/archives/2676.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
	</channel>
</rss>

